如何在远程Yarn集群上运行flink作业

gajydyqb 于 2021-06-25 发布在 Flink

关注(0)|答案(1)|浏览(454)

我有一些问题需要通过scalaapi远程部署flink作业。
我可以在集群上启动一个yarn会话，然后用jar在命令行中运行我的作业。
我想要的是直接用ide运行我的作业。在scala怎么做？

val env = ExecutionEnvironment.createRemoteEnvironment("mymaster", 6123, "myjar-with-dependencies.jar")

这是行不通的，我确实意识到，我没有宣布任何Yarn部署与它。
有什么帮助吗？

1条答案

flink目前（2017年3月，flink 1.2）不允许通过executionenvironment以编程方式在yarn上部署。
您可以查看flink的内部未记录的api，以便在yarn上部署它，然后通过远程env提交。