我能够成功地从https://github.com/datastax/sparkbuildexamples/tree/master/scala/sbt/dse/src/main/scala/com/datastax/spark/example
我也成功地提交了dse spark submit。程序运行良好,效果良好 dse spark-submit --class com.datastax.spark.example.WriteRead target/writeRead-0.1.jar
我现在希望将上面的作业提交给dse.yaml中配置的现有池
resource_manager_options:
worker_options:
cores_total: 6
memory_total: 32G
workpools:
- name: alwayson_sql
cores: 2
memory: 4G
- name: pool_1
cores: 2
memory: 16G
我无法决定如何/如何更改代码或spark submit,以便将申请提交到池“pool_1”
申请已提交到默认池,我无法将其提交到“池1”。
请帮忙。
1条答案
按热度按时间qlfbtfca1#
经过一些额外的研究,我找到了正确的方法,dseSpark提交使用池“池1”
(根据alex的输入)dse文档:文档链接