spark shell或zepellin笔记本如何将hivecontext设置为sparksession?

t0ybt7op  于 2021-06-26  发布在  Hive
关注(0)|答案(1)|浏览(268)

有人知道为什么我可以从spark shell或zepelling笔记本访问现有的配置单元表吗

val df = spark.sql("select * from hive_table")

但是当我提交一个spark jar和一个这样创建的spark对象时,

val spark = SparkSession
    .builder()
    .appName("Yet another spark app")
    .config("spark.sql.shuffle.partitions", 18)
    .config("spark.executor.memory", "2g")
    .config("spark.serializer","org.apache.spark.serializer.KryoSerializer")
    .getOrCreate()

我知道了
未找到表或视图
我真正想要的是学习、理解shell和笔记本为我们做了什么,以便为sparksession提供hive上下文。

s3fp2yjn

s3fp2yjn1#

使用配置单元时,必须使用配置单元支持示例化sparksession
你需要打电话 enableHiveSupport() 在会话生成器上

相关问题