我想编写一个mapreduce作业来执行以下操作：读取hdfs文件。验证表（配置单元/hbase）中已存在读取记录。如果存在，则执行更新操作。如果不存在，则将数据写入/插入表（配置单元/hbase）。上述过程将每天重复。问题：是否可以用hive实现上述逻辑？你怎么能写约伯先生？有没有实现上述逻辑的例子？
kokeuurv1#
做你想做的事不止一种方法。是的，你可以在Hive里做所有的事情。hive有一些serde允许您访问hbase，因此您也可以从hive使用它。你的mr工作是由Map绘制者组成的；不管怎样，既然Hive能做到，我认为写一份mr作业不是个好主意。也许构建mr作业的快速方法是使用实用程序流，您可以用任何喜欢的语言编写Map器。如果这两种情况下，使用Hive或一个小的mr作业，你可以把作业放在oozie下，让它每天运行。
1条答案
按热度按时间kokeuurv1#
做你想做的事不止一种方法。是的，你可以在Hive里做所有的事情。hive有一些serde允许您访问hbase，因此您也可以从hive使用它。
你的mr工作是由Map绘制者组成的；不管怎样，既然Hive能做到，我认为写一份mr作业不是个好主意。也许构建mr作业的快速方法是使用实用程序流，您可以用任何喜欢的语言编写Map器。
如果这两种情况下，使用Hive或一个小的mr作业，你可以把作业放在oozie下，让它每天运行。