编写直接在sparkshell或zeppelin笔记本中运行的spark代码时,假定解释器中有默认的sparkcontext(sc)和sparksession(spark.implicits.\)。
另一方面,我们需要创建一个spark应用程序,一个从另一个应用程序调用的jar。
可以添加在同一jvm中检测到的多个sparkcontext,但这并不能解决问题。
我们如何使用sparkshell的sparksession(spark)和sparkcontext(sc)并将其传递给应用程序,例如:
object SomeObject{
def main(args: Array[String]): Unit = {
val spark = spark-shell's SparkSession instance
val sc = spark-shell's SparkContext instance
}
}
暂无答案!
目前还没有任何答案,快来回答吧!