动态集群中的flink远程批处理执行

eiee3dmh  于 2021-06-24  发布在  Flink
关注(0)|答案(0)|浏览(265)

我在用flink 1.8做一个项目
我需要在远程flink中运行来自java的代码,如下所述https://ci.apache.org/projects/flink/flink-docs-release-1.8/dev/cluster_execution.html
这部分工作正常,但我想配置一个动态flink集群来执行作业
假设我有一些用户有时需要运行一个报告,这个报告是用flink中处理的数据生成的,每当用户请求一个报告时,我必须向远程flink集群提交一个作业,这个作业执行很繁重,可能需要1小时才能完成
所以,我不想有3,4,5。。。任务管理器总是在集群中运行,有时空闲,有时没有足够的任务管理器来处理所有请求,我希望在作业管理器接收到作业时动态创建任务管理器,并在最后将其除去
我在中看到了很多创建集群的选项https://ci.apache.org/projects/flink/flink-docs-release-1.8/ 节[部署和操作][集群和部署]像独立,Yarn,mesos,docker,kubernetes。。。但是我不知道什么最适合我的使用,我不擅长devops,我对这些技术几乎一无所知
一些关于使用哪种技术的建议,也许还有一些例子,将非常感激
记住,我需要用executionenvironment.createremoteenvironment运行作业,上传jar对我来说不是一个有效的选项,似乎不是所有的选项都支持作业的远程提交,但我不确定
谢谢您

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题