我正在尝试优化抓取网站的nutch性能。现在我在小型hadoop集群上测试性能，只有两个节点32gbram，cpu为intelxeone3 1245v24c/8t。我的坚果配置http://pastebin.com/bbrhpfuq
所以，问题是：获取工作并不是最佳的。有些reduce任务有4k页用于获取，有些是1k页。例如，请参见屏幕截图https://docs.google.com/file/d/0b98dgnxoqkmvt1doovvpuu1pnxm/edit 有些任务在10分钟内完成，但一个任务工作11小时，仍然继续工作，所以当我有24个减少任务，但只工作一个，这就像一个瓶颈。
可能有人可以给有用的建议或链接，我可以阅读有关问题。