外部洗牌服务的节点管理器堆大小

eeq64g8w  于 2021-05-17  发布在  Spark
关注(0)|答案(0)|浏览(323)

我是按照这个文件来配置的 External shuffle service 在我们的星火团里。指令下面的第5点是:通过在etc/hadoop/yarn-env.sh中设置yarn\u heapsize(默认为1000)来增加nodemanager的堆大小,以避免洗牌过程中出现垃圾收集问题。
达到新尺寸需要考虑哪些因素?建议值是多少?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题