我有一个Scala程序，我有两个独立的spark作业，我想提交给两个不同的远程spark集群，但我希望它们并行执行。因此，我尝试创建两个线程，每个线程都提交作业，但遇到此错误org.apache.spark.SparkException: Only one SparkContext should be running in this JVM (see SPARK-2243).有没有方法可以实现我正在寻找的东西？
org.apache.spark.SparkException: Only one SparkContext should be running in this JVM (see SPARK-2243).
qni6mghb1#
据我所知，你有两个独立的Spark集群，但你不能从一个Scala应用程序连接到它们。为此，请创建两个Spark会话并将其连接到两个不同的集群。要运行作业，您可以使用scala Future并发提交作业
1条答案
按热度按时间qni6mghb1#
据我所知，你有两个独立的Spark集群，但你不能从一个Scala应用程序连接到它们。
为此，请创建两个Spark会话并将其连接到两个不同的集群。要运行作业，您可以使用scala Future并发提交作业