apachebeam+sparkrunner:如何传递'spark.yarn.queue'参数

xmakbtuz  于 2021-07-14  发布在  Spark
关注(0)|答案(0)|浏览(204)

我有一个spark集群,我想在那里运行用python编写的apachebeam管道。
为了执行spark作业,我需要将其提交到特定队列,这是我在spark作业代码中执行的方式:

sparkConf = SparkConf()    
  .set("spark.yarn.queue", "my.specific-queue-name")

对于apachebeam,我使用docs中提供的默认选项并接收“futuretimeouterror”:

pipelineOptions = PipelineOptions([
    "--runner=PortableRunner",
    "--job_endpoint=localhost:8099",
    "--environment_type=LOOPBACK"
])

我假设这是因为没有指定yarn.queue,但是我找不到如何在python中设置。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题