我正在开发一个spark应用程序,它使用以下spark上下文:
org.apache.spark.sql.SparkSession sparkSession = org.apache.spark.sql.SparkSession.builder()
.master("local")
.appName("example of SparkConnection")
.config("spark.executor.instances", 10000)
.getOrCreate();
我正在尝试从csv读取数据并将其写入db表。为此,我有一个大小为100kb的文件。我希望有1个以上的执行器用于读取和写入文件。
我尝试过使用重分区方法来增加分区,但仍然只有一个执行器。有人能帮忙吗?
暂无答案!
目前还没有任何答案,快来回答吧!