增加hadoop任务jvm大小

new9mtju 于 2021-06-03 发布在 Hadoop

关注(0)|答案(2)|浏览(279)

我想设置任务jvm大小（map task和reduce task），可以使用属性mapred.child.java.opts来完成。但我关心的是，我需要把它放在哪里。我可以在提交作业时使用-d选项设置它，或者我需要在每个节点的mapred-site.xml中设置这个属性。
谢谢，普里亚兰詹

2条答案

这样地：

hadoop jar your.jar package.MainClass -Dmapred.child.java.opts=blar some more args

你可以用

-Dmapred.child.java.opts='-Xmx1024m'

在命令行上，将任务内存设置为1024 mib。
类似地，在作业的java代码中，可以将其设置为配置参数：

conf.set("mapred.child.java.opts", "-Xmx1024m");