我正在编写oozie作业,我想将它们部署到hadoop集群。但是,我不想手动执行它们,而是想使用jenkins为我执行此部署。我在网上搜索,没有找到任何oozie的插件。。。。因此,如果您在hadoop集群上使用oozie,您能告诉我使用jenkins进行自动构建和部署的最佳方法是什么吗?
hl0ma9xz1#
oozie工作流的部署只是将集群上不可用的xml文件和所需的依赖项放到hdfs目录中。链接假设你有两份Jenkins的工作,一个用于建造、测试等第二个用于在成功构建第一个作业后触发的部署您可以在第二个作业中编写脚本将文件放到hdfs上,例如使用webhdfs另一种方法是,如果您从第一个作业开始构建的产品是某种包(例如zip),您可以创建一个脚本,将这个工件从jenkins/nexus下载到可以访问hdfs控制台命令的机器上,提取这个zip并将整个目录放入hdfs,如这里所述如果您正在使用某种资源调配工具(puppet或ansible),那么您可以将其用于此目的。配置您可能要使用的jenkins调度jenkins管道插件或者在jenkins作业页面上“configure->build triggers->build after other projects is build”
1条答案
按热度按时间hl0ma9xz1#
oozie工作流的部署只是将集群上不可用的xml文件和所需的依赖项放到hdfs目录中。链接
假设你有两份Jenkins的工作,
一个用于建造、测试等
第二个用于在成功构建第一个作业后触发的部署
您可以在第二个作业中编写脚本将文件放到hdfs上,例如使用webhdfs
另一种方法是,如果您从第一个作业开始构建的产品是某种包(例如zip),您可以创建一个脚本,将这个工件从jenkins/nexus下载到可以访问hdfs控制台命令的机器上,提取这个zip并将整个目录放入hdfs,如这里所述
如果您正在使用某种资源调配工具(puppet或ansible),那么您可以将其用于此目的。
配置您可能要使用的jenkins调度
jenkins管道插件
或者在jenkins作业页面上“configure->build triggers->build after other projects is build”