spark应用程序只使用一个execeutor

zazmityj  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(205)

我正在开发一个spark应用程序,它使用以下spark上下文:

org.apache.spark.sql.SparkSession sparkSession = org.apache.spark.sql.SparkSession.builder()
  .master("local")
  .appName("example of SparkConnection")
  .config("spark.executor.instances", 10000)
  .getOrCreate();

我正在尝试从csv读取数据并将其写入db表。为此,我有一个大小为100kb的文件。我希望有1个以上的执行器用于读取和写入文件。
我尝试过使用重分区方法来增加分区,但仍然只有一个执行器。有人能帮忙吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题