我正在hadoop中挣扎
我得到以下作为我的Map器的结果
KeyValue1, 2014-02-01 20:42:00
KeyValue1, 2014-02-01 20:45:12
KeyValue1, 2014-05-01 10:35:02
KeyValue2, 2014-03-01 01:45:12
KeyValue2, 2014-03-01 02:08:18
KeyValue3, 2014-02-01 20:45:12
KeyValue4, 2015-02-01 05:45:12
KeyValue4, 2013-02-01 10:45:12然后继续。。
在一天结束的时候，我想要这个；
KeyValue1, TimeDifference(first occurrence - last occurrence)
KeyValue2, TimeDifference(first occurrence - last occurrence)
KeyValue3, -occured once-
KeyValue4, TimeDifference(first occurrence - last occurrence)我们非常感谢您的任何意见。干杯
1条答案
按热度按时间eh57zj3b1#
有多种方法。我建议使用复合键。创建自定义分区器、keycomparator和groupcomparator。然后在减速机方面，您可以简单地选择第一行和最后一行，并采取不同。