在spark 1.6中，是否有任何配置属性可以通过spark shell显式设置为禁用/启用配置单元支持。我试着用，
sqlContext.getAllConfs.foreach(println)
但是，我不确定禁用/启用配置单元支持实际上需要哪个属性。或者有没有别的办法？
soat7uwm1#
仅通过创建spark会话即可启用配置单元支持，但仅限于spark>=2.0：
val spark = SparkSession .builder() .appName("Spark Hive Example") .config("spark.sql.warehouse.dir", warehouseLocation) .enableHiveSupport() .getOrCreate()
在这里，您可以阅读如何通过更改hive-site.xml、spark-defaults.conf中的配置单元和spark属性来配置spark上的配置单元：https://cwiki.apache.org/confluence/display/hive/hive+on+spark%3a+getting+started -它必须与spark 1.6.1配合使用
amrnrhlw2#
通过配置可以启用和禁用配置单元上下文 spark.sql.catalogImplementation 的可能值 spark.sql.catalogImplementation 在内存或Hive中spark-16013添加选项以禁用spark shell/pyspark中的hivecontext
spark.sql.catalogImplementation
这种spark特性在spark 1.6中不可用。解决这个问题的一种方法是删除与配置单元相关的jar，这些jar反过来会禁用spark中的配置单元支持（因为spark在需要的配置单元类可用时具有配置单元支持）。
2条答案
按热度按时间soat7uwm1#
仅通过创建spark会话即可启用配置单元支持，但仅限于spark>=2.0：
在这里，您可以阅读如何通过更改hive-site.xml、spark-defaults.conf中的配置单元和spark属性来配置spark上的配置单元：https://cwiki.apache.org/confluence/display/hive/hive+on+spark%3a+getting+started -它必须与spark 1.6.1配合使用
amrnrhlw2#
Spark>=2.0
通过配置可以启用和禁用配置单元上下文
spark.sql.catalogImplementation的可能值spark.sql.catalogImplementation在内存或Hive中spark-16013添加选项以禁用spark shell/pyspark中的hivecontext
Spark<2.0
这种spark特性在spark 1.6中不可用。
解决这个问题的一种方法是删除与配置单元相关的jar，这些jar反过来会禁用spark中的配置单元支持（因为spark在需要的配置单元类可用时具有配置单元支持）。