如何从javasparkcontext获取hivecontext

vsaztqbk 于 2021-06-02 发布在 Hadoop

关注(0)|答案(2)|浏览(437)

在一些spark代码中，我看到程序员使用这些代码来创建sparkcontext

SparkSession session = SparkSession
      .builder()
      .appName("Spark Hive Example")
      .config("spark.sql.warehouse.dir", warehouseLocation)
      .enableHiveSupport()
      .getOrCreate();

但我一直使用这种代码来创建javasparkcontext。

SparkConf sparkConf = new SparkConf().setAppName("Simple App").setMaster("local");
JavaSparkContext spark = new JavaSparkContext(sparkConf);

从代码的后一部分，有没有任何方法可以获得一个配置单元上下文来对配置单元表执行操作？
谢谢！

hadoop Hive apache-spark HiveContext

来源：https://stackoverflow.com/questions/46816291/how-to-get-hivecontext-from-javasparkcontext

2条答案

按热度按时间

9avjhtql1#

终于找到了解决办法。

SparkSession spark = SparkSession
                    .builder()
                    .appName("SampleApp")
                    .master("local")
                    .enableHiveSupport()
                    .getOrCreate();

JavaSparkContext jsc = new JavaSparkContext(spark.sparkContext());

赞(0）回复(0）举报 2021-06-02

tvmytwxo2#

您使用的是spark 2.0或更高版本，它不使用 SQLContext 不再。 SparkSession 与 enableHiveSupport 是一个足够的替代品。
所以你要做的就是 session 你已经拥有的示例。

赞(0）回复(0）举报 2021-06-02