我对hbase和hadoop非常陌生。我对mapreduce的概念感到困惑，我想知道mapreduce f/w中的执行流程。我尝试在google上搜索一种从文件中读取数据并使用 Put 使用减速机分类。我在hdfs中有一个文件，我需要从hbase mapreducer读取该文件并将数据加载到htable中。谁能告诉我哪里出错了吗？
Put
ifmq2ha21#
你可以使用无减速器的Map器。因为reducer可以用于排序，您只需要将文件数据直接存储在hbase中。
c0vxltue2#
不要使用reduce步骤。在map类中，当您获得一条记录时，直接将其插入hbase。在将看跌期权发送到hbase之前，无需对其进行洗牌/排序。这意味着您所要做的就是为htable创建一个示例变量，并在setup方法中初始化它；然后在map方法中，为记录创建一个put，并将其添加到htable中。最后，在清理方法中，确保刷新htable。
2条答案
按热度按时间ifmq2ha21#
你可以使用无减速器的Map器。因为reducer可以用于排序，您只需要将文件数据直接存储在hbase中。
c0vxltue2#
不要使用reduce步骤。在map类中，当您获得一条记录时，直接将其插入hbase。在将看跌期权发送到hbase之前，无需对其进行洗牌/排序。这意味着您所要做的就是为htable创建一个示例变量，并在setup方法中初始化它；然后在map方法中，为记录创建一个put，并将其添加到htable中。最后，在清理方法中，确保刷新htable。