如何在远程Yarn集群上运行flink作业

gajydyqb  于 2021-06-25  发布在  Flink
关注(0)|答案(1)|浏览(452)

我有一些问题需要通过scalaapi远程部署flink作业。
我可以在集群上启动一个yarn会话,然后用jar在命令行中运行我的作业。
我想要的是直接用ide运行我的作业。在scala怎么做?

val env = ExecutionEnvironment.createRemoteEnvironment("mymaster", 6123, "myjar-with-dependencies.jar")

这是行不通的,我确实意识到,我没有宣布任何Yarn部署与它。
有什么帮助吗?

n3ipq98p

n3ipq98p1#

flink目前(2017年3月,flink 1.2)不允许通过executionenvironment以编程方式在yarn上部署。
您可以查看flink的内部未记录的api,以便在yarn上部署它,然后通过远程env提交。

相关问题