我想在spark集群的每个工作节点的后台运行一个外部命令(plasma\u store\u server-m30000000000-s/tmp/store0&)。因此,在整个spark作业期间,外部进程都应该运行。
plasma存储\服务器进程用于在ApacheSpark中存储和检索ApacheArrow数据。
我使用pyspark进行spark编程,使用slurm创建spark集群。
任何帮助都将不胜感激!
我想在spark集群的每个工作节点的后台运行一个外部命令(plasma\u store\u server-m30000000000-s/tmp/store0&)。因此,在整个spark作业期间,外部进程都应该运行。
plasma存储\服务器进程用于在ApacheSpark中存储和检索ApacheArrow数据。
我使用pyspark进行spark编程,使用slurm创建spark集群。
任何帮助都将不胜感激!
暂无答案!
目前还没有任何答案,快来回答吧!