hbaseMap使用oozie减少作业以获得最佳性能

zbsbpyhn  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(158)

我想从oozie调度程序运行hbase tablemapreduce作业。我有一个司机,Map和没有减速器类。用hadoop生态系统的最高性能从oozie运行此作业的最佳方法是什么。目前,我正在为oozie工作流中的驱动程序类使用java操作。

<action name="custom-java-action-mr">
    <java>
        <main-class>com.mr.sample.MyJobDriver</main-class>
        <capture-output/>
    </java>
    <ok to="fork1"/>
    <error to="kill"/>
</action>

使用它作为Map减少行动会有好处吗?如果是的话,请帮我举个例子。

Job job = Job.getInstance();

job.setJobName("My Custom Job");

job.setInputFormatClass(TextInputFormat.class);
job.setOutputFormatClass(NullOutputFormat.class);

job.setJarByClass(MyJobDriver.class);
Scan scan = new Scan();
scan.addFamily(Bytes.toBytes(Entity.FAMILY_NAME));
scan.setCaching(10000);
scan.setCacheBlocks(false);
TableMapReduceUtil.initTableMapperJob(Entity.TABLE_NAME, scan,
        MyJobMapper.class, ImmutableBytesWritable.class, Result.class, job);

目前hbase连接不安全,但我们在生产环境中有hbase安全连接。谢谢

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题