dse spark提交到特定工作池而不是“default”

jgzswidk  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(456)

我能够成功地从https://github.com/datastax/sparkbuildexamples/tree/master/scala/sbt/dse/src/main/scala/com/datastax/spark/example
我也成功地提交了dse spark submit。程序运行良好,效果良好 dse spark-submit --class com.datastax.spark.example.WriteRead target/writeRead-0.1.jar 我现在希望将上面的作业提交给dse.yaml中配置的现有池

resource_manager_options:
worker_options:
    cores_total: 6
    memory_total: 32G
    workpools:
        - name: alwayson_sql
          cores: 2
          memory: 4G
        - name: pool_1
          cores: 2
          memory: 16G

我无法决定如何/如何更改代码或spark submit,以便将申请提交到池“pool_1”
申请已提交到默认池,我无法将其提交到“池1”。
请帮忙。

qlfbtfca

qlfbtfca1#

经过一些额外的研究,我找到了正确的方法,dseSpark提交使用池“池1”

bin/dse spark-submit \
 --master dse://?workpool=pool_1 \
 --conf spark.network.timeout=500 \
 --class com.datastax.spark.example.WriteRead target/writeRead-0.1.jar

(根据alex的输入)dse文档:文档链接

相关问题