在每个spark worker节点上运行外部进程(在后台)

ttisahbt  于 2021-05-29  发布在  Spark
关注(0)|答案(0)|浏览(266)

我想在spark集群的每个工作节点的后台运行一个外部命令(plasma\u store\u server-m30000000000-s/tmp/store0&)。因此,在整个spark作业期间,外部进程都应该运行。
plasma存储\服务器进程用于在ApacheSpark中存储和检索ApacheArrow数据。
我使用pyspark进行spark编程,使用slurm创建spark集群。
任何帮助都将不胜感激!

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题