写入配置单元时发生sparkDataframeoom错误

whitzsjs  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(293)

我有一个应用程序,用于将sparkDataframe数据放入hive。
第一次,应用程序使用了100个内核和10gb内存,在泄漏了大量32mb块之后产生了这个outofmemory错误。

之后,我使用100个内核和20gb内存运行应用程序,获得不同的泄漏大小(64 mb),然后出现相同的outofmemory错误:

有人能帮我理解这种行为吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题