我正在用giraph运行一些基本的例子，我想验证我的用户正在读取的数据 EdgeInputFormat . 在一个经典的mapreduce工作中，我可以使用计数器和giraph使用聚合器来实现这一点(https://giraph.apache.org/aggregators.html)网站上说聚合器应该在主机上注册。我编写的唯一代码是一个扩展 BasicComputation 并实现compute（）方法。有人能指出我应该在哪里注册它们以及在读取数据时如何使用它们吗？
EdgeInputFormat
BasicComputation
2ledvvac1#
我已经知道怎么做了。我实现了一个扩展 MasterCompute 在initialize（）方法中，我注册了一个持久聚合器。我曾经 IntSumAggregator .在那之后，在 EdgeInputFormat 我可以用 aggregate("myAggregator", new IntWritable(1)); .这个 MasterCompute 已使用设置 -mc 行参数。
MasterCompute
IntSumAggregator
aggregate("myAggregator", new IntWritable(1));
-mc
1条答案
按热度按时间2ledvvac1#
我已经知道怎么做了。
我实现了一个扩展
MasterCompute在initialize（）方法中，我注册了一个持久聚合器。我曾经IntSumAggregator.在那之后，在
EdgeInputFormat我可以用aggregate("myAggregator", new IntWritable(1));.这个
MasterCompute已使用设置-mc行参数。