有人知道如何使用bmc control-m软件控制/调度hadoop作业吗?有可能吗?我试过ooozie,想探索更多的hadoop作业调度选项。请开导!
smtd7mpg1#
答案是肯定的。这个答案会变得更好。今天,您可以使用各种hadoop组件提供的丰富的命令行接口。然后,您可以将这些cli作为命令单独运行,或者将它们组合到直接嵌入control-m作业中的脚本中,或者封装在shell脚本中(bash是一种流行的脚本),并使用control-m进行调度。我提供了一个示例脚本,它执行一些hdfs操作,然后运行mapreduce作业。更好的部分将在几个月后发布,届时我们将发布对hadoop的集成支持。届时(我假设您熟悉bmc control-m),我们将提供类似于其他cms的图形形式,用于定义各种作业类型(pig、hive、mapreduce都在考虑中,但我不确定实际将实现什么)、状态监视的集成支持、作业输出的检索等。我们已经听到许多客户使用control-m来管理他们的hadoop环境。除了运行hadoop作业的“机制”之外,还可以获得control-m管理图形流的功能、与各种平台和应用程序的集成、管理服务级别、预测、审核、报告等功能。我很高兴与您进一步讨论这一点,特别是因为我们仍处于这项工作的早期阶段,我们希望了解您在这方面的要求。请给我寄张便条joe_goldberg@bmc.com 我很乐意安排一个电话会议或演示。
# !/bin/csh # cd /h/gron/java/hadoop/hadoop-1.0.3 bin/hadoop dfs -rmr output_$UUID 'dfs[a-z.]+' bin/hadoop jar hadoop-examples-1.0.3.jar grep input output_$UUID 'dfs[a-z.]+'
1条答案
按热度按时间smtd7mpg1#
答案是肯定的。
这个答案会变得更好。
今天,您可以使用各种hadoop组件提供的丰富的命令行接口。然后,您可以将这些cli作为命令单独运行,或者将它们组合到直接嵌入control-m作业中的脚本中,或者封装在shell脚本中(bash是一种流行的脚本),并使用control-m进行调度。我提供了一个示例脚本,它执行一些hdfs操作,然后运行mapreduce作业。
更好的部分将在几个月后发布,届时我们将发布对hadoop的集成支持。届时(我假设您熟悉bmc control-m),我们将提供类似于其他cms的图形形式,用于定义各种作业类型(pig、hive、mapreduce都在考虑中,但我不确定实际将实现什么)、状态监视的集成支持、作业输出的检索等。
我们已经听到许多客户使用control-m来管理他们的hadoop环境。
除了运行hadoop作业的“机制”之外,还可以获得control-m管理图形流的功能、与各种平台和应用程序的集成、管理服务级别、预测、审核、报告等功能。
我很高兴与您进一步讨论这一点,特别是因为我们仍处于这项工作的早期阶段,我们希望了解您在这方面的要求。请给我寄张便条joe_goldberg@bmc.com 我很乐意安排一个电话会议或演示。