使用spark shell和spark submit中的默认sparkcontext和sparksession

6uxekuva  于 2021-05-29  发布在  Spark
关注(0)|答案(0)|浏览(355)

编写直接在sparkshell或zeppelin笔记本中运行的spark代码时,假定解释器中有默认的sparkcontext(sc)和sparksession(spark.implicits.\)。
另一方面,我们需要创建一个spark应用程序,一个从另一个应用程序调用的jar。
可以添加在同一jvm中检测到的多个sparkcontext,但这并不能解决问题。
我们如何使用sparkshell的sparksession(spark)和sparkcontext(sc)并将其传递给应用程序,例如:

object SomeObject{ 
   def main(args: Array[String]): Unit = { 
    val spark = spark-shell's SparkSession instance
    val sc = spark-shell's SparkContext instance  
    } 
}

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题