我想从oozie调度程序运行hbase tablemapreduce作业。我有一个司机,Map和没有减速器类。用hadoop生态系统的最高性能从oozie运行此作业的最佳方法是什么。目前,我正在为oozie工作流中的驱动程序类使用java操作。
<action name="custom-java-action-mr">
<java>
<main-class>com.mr.sample.MyJobDriver</main-class>
<capture-output/>
</java>
<ok to="fork1"/>
<error to="kill"/>
</action>
使用它作为Map减少行动会有好处吗?如果是的话,请帮我举个例子。
Job job = Job.getInstance();
job.setJobName("My Custom Job");
job.setInputFormatClass(TextInputFormat.class);
job.setOutputFormatClass(NullOutputFormat.class);
job.setJarByClass(MyJobDriver.class);
Scan scan = new Scan();
scan.addFamily(Bytes.toBytes(Entity.FAMILY_NAME));
scan.setCaching(10000);
scan.setCacheBlocks(false);
TableMapReduceUtil.initTableMapperJob(Entity.TABLE_NAME, scan,
MyJobMapper.class, ImmutableBytesWritable.class, Result.class, job);
目前hbase连接不安全,但我们在生产环境中有hbase安全连接。谢谢
暂无答案!
目前还没有任何答案,快来回答吧!