通过jenkins部署oozie作业

aurhwmvo  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(451)

我正在编写oozie作业,我想将它们部署到hadoop集群。
但是,我不想手动执行它们,而是想使用jenkins为我执行此部署。
我在网上搜索,没有找到任何oozie的插件。。。。因此,如果您在hadoop集群上使用oozie,您能告诉我使用jenkins进行自动构建和部署的最佳方法是什么吗?

hl0ma9xz

hl0ma9xz1#

oozie工作流的部署只是将集群上不可用的xml文件和所需的依赖项放到hdfs目录中。链接
假设你有两份Jenkins的工作,
一个用于建造、测试等
第二个用于在成功构建第一个作业后触发的部署
您可以在第二个作业中编写脚本将文件放到hdfs上,例如使用webhdfs
另一种方法是,如果您从第一个作业开始构建的产品是某种包(例如zip),您可以创建一个脚本,将这个工件从jenkins/nexus下载到可以访问hdfs控制台命令的机器上,提取这个zip并将整个目录放入hdfs,如这里所述
如果您正在使用某种资源调配工具(puppet或ansible),那么您可以将其用于此目的。
配置您可能要使用的jenkins调度
jenkins管道插件
或者在jenkins作业页面上“configure->build triggers->build after other projects is build”

相关问题