我正在尝试从javaMap器的hbase表中读取记录。我想检测最后一条记录来对其执行操作。我们怎样才能识别最后一条记录。我有一个零减速器。我记不住所有的记录。
0vvn1miw1#
当Map程序调用其清理方法时，可以确定Map程序何时处理了其最终记录：
cleanup(org.apache.hadoop.mapreduce.Mapper.Context context)
https://hadoop.apache.org/docs/r2.6.2/api/org/apache/hadoop/mapreduce/mapper.html这将使您能够在每个Map器处理完其所有键/值并采取一些操作时确定它。如果您试图在不使用reduce stage的情况下进行聚合，并且正在从hbase读取数据，那么我假设您对数据分组有一些保证，这也会有所帮助。例如，您可以在输入Map器时查找密钥的更改，这样您就知道您收到了所有相同的密钥。
1条答案
按热度按时间0vvn1miw1#
当Map程序调用其清理方法时，可以确定Map程序何时处理了其最终记录：
https://hadoop.apache.org/docs/r2.6.2/api/org/apache/hadoop/mapreduce/mapper.html
这将使您能够在每个Map器处理完其所有键/值并采取一些操作时确定它。
如果您试图在不使用reduce stage的情况下进行聚合，并且正在从hbase读取数据，那么我假设您对数据分组有一些保证，这也会有所帮助。例如，您可以在输入Map器时查找密钥的更改，这样您就知道您收到了所有相同的密钥。