apachenutch2.3.1，增加内存

tquggr8v 于 2021-05-27 发布在 Hadoop

关注(0)|答案(1)|浏览(444)

我已经设置了一个小规模的集群，如果hadoop与hbase为 Nutch 2.3.1 . hadoop版本是2.7.7，hbase是0.98。我已经定制了一个hadoop作业，现在我必须在驱动程序类中为reducer任务设置内存。我知道，在简单的hadoop中，乔布斯先生，你可以使用 JobConf 方法 setMemoryForReducer . 但是nutch没有任何可用的选项。在我的例子中，当前，reducer内存通过 mapred-site.xml （hadoop配置）。但是对于努奇，我必须加倍。
是否可以不通过驱动程序类或nutch-site.xml更改hadoop conf文件

hadoop nutch nutch2 web-crawler

来源：https://stackoverflow.com/questions/54643356/apache-nutch-2-3-1-increase-reducer-memory

1条答案

按热度按时间

vwoqyblh1#

最后，我终于找到了解决办法。 NutchJob 完成目标。下面是代码片段

NutchJob job = NutchJob.getInstance(getConf(), "rankDomain-update");

int reducer_mem = 8192;
String memory = "-Xmx" + (int) (reducer_mem * 0.8)+ "m";
job.getConfiguration().setInt("mapreduce.reduce.memory.mb", reducer_mem);
job.getConfiguration().set("mapreduce.reduce.java.opts", memory );
// rest of code below

赞(0）回复(0）举报 2021-05-27

我来回答

apachenutch2.3.1，增加内存

1条答案

相关问题

热门标签

最新问答