我有一个spark集群,我想在那里运行用python编写的apachebeam管道。
为了执行spark作业,我需要将其提交到特定队列,这是我在spark作业代码中执行的方式:
sparkConf = SparkConf()
.set("spark.yarn.queue", "my.specific-queue-name")
对于apachebeam,我使用docs中提供的默认选项并接收“futuretimeouterror”:
pipelineOptions = PipelineOptions([
"--runner=PortableRunner",
"--job_endpoint=localhost:8099",
"--environment_type=LOOPBACK"
])
我假设这是因为没有指定yarn.queue,但是我找不到如何在python中设置。
暂无答案!
目前还没有任何答案,快来回答吧!