在带有maven配置的eclipse中为hadoop作业设置java堆空间

jdzmm42g  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(354)

我在eclipse中有一个hadoop项目,它的依赖关系由maven处理。我目前可以在eclipse中运行hadoop作业,但没有安装hadoop(因为maven获得所有依赖项)。问题是我得到了堆空间异常:

java.lang.Exception: java.lang.OutOfMemoryError: Java heap space

我知道如果安装hadoop,我可以在hadoop配置中扩大java堆空间。如果没有安装hadoop,那么在eclipse上运行作业时如何扩大java堆空间?我希望将依赖关系管理保留为maven,但需要一种方法来更改一些hadoop配置。这可以在maven配置文件中完成吗 pom.xml ? 如果没有,我可以通过命令行参数进行输入吗?

pgky5nke

pgky5nke1#

看起来您正在以eclipse中的localjobrunner的身份执行hadoop作业。如果是这样的话,hadoop作业将使用与eclipse相同的jvm。不能修改堆内存maven配置文件,而是应该增加eclipsejvm的堆。
请参阅此链接以增加eclipse的堆。

相关问题