有人知道为什么我可以从spark shell或zepelling笔记本访问现有的配置单元表吗
val df = spark.sql("select * from hive_table")
但是当我提交一个spark jar和一个这样创建的spark对象时,
val spark = SparkSession
.builder()
.appName("Yet another spark app")
.config("spark.sql.shuffle.partitions", 18)
.config("spark.executor.memory", "2g")
.config("spark.serializer","org.apache.spark.serializer.KryoSerializer")
.getOrCreate()
我知道了
未找到表或视图
我真正想要的是学习、理解shell和笔记本为我们做了什么,以便为sparksession提供hive上下文。
1条答案
按热度按时间s3fp2yjn1#
使用配置单元时,必须使用配置单元支持示例化sparksession
你需要打电话
enableHiveSupport()
在会话生成器上