mapreduce、hdfs输入、配置单元表输出

iibxawm4  于 2021-06-28  发布在  Hive
关注(0)|答案(1)|浏览(302)

我想编写一个mapreduce作业来执行以下操作:
读取hdfs文件。
验证表(配置单元/hbase)中已存在读取记录。
如果存在,则执行更新操作。如果不存在,则将数据写入/插入表(配置单元/hbase)。
上述过程将每天重复。
问题:
是否可以用hive实现上述逻辑?
你怎么能写约伯先生?有没有实现上述逻辑的例子?

kokeuurv

kokeuurv1#

做你想做的事不止一种方法。是的,你可以在Hive里做所有的事情。hive有一些serde允许您访问hbase,因此您也可以从hive使用它。
你的mr工作是由Map绘制者组成的;不管怎样,既然Hive能做到,我认为写一份mr作业不是个好主意。也许构建mr作业的快速方法是使用实用程序流,您可以用任何喜欢的语言编写Map器。
如果这两种情况下,使用Hive或一个小的mr作业,你可以把作业放在oozie下,让它每天运行。

相关问题