如何在pyspark中的spark结构化流作业期间调整内存核心消耗？
zzlelutf1#
您只能在提交阶段之前在spark中调整作业。您可以通过以下方式调整spark作业：
./bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master spark://207.184.161.138:7077 \ --executor-memory 20G \ --total-executor-cores 100 \ /path/to/examples.jar \ 1000
1条答案
按热度按时间zzlelutf1#
您只能在提交阶段之前在spark中调整作业。
您可以通过以下方式调整spark作业：