我在用一个对接的Pypark星团，它利用Yarn。为了提高数据处理管道的效率，我想增加分配给pyspark执行器和驱动程序的内存量。
这是通过向rest post请求添加以下两个键、值对来完成的，rest post请求被发送给livy： "driverMemory": "20g" "executorMemory": "56g" 这样做会导致以下错误，我在livy的日志中发现了这些错误： java.lang.IllegalArgumentException: Required executor memory (57344), overhead (5734 MB), and PySpark memory (0 MB) is above the max threshold (8192 MB) of this cluster! Please check the values of 'yarn.scheduler.maximum-allocation-mb' and/or 'yarn.nodemanager.resource.memory-mb'. 当然，我已经适当地编辑了yarn-site.xml，并通过在文件中包含以下行将上述两个值都设置为64gb，看起来是这样，但似乎没有什么区别。
如果executormemory+10%的开销大于8192MB，则不同的drivermemory和executormemory值也会出现类似的问题。
如何修复此问题并分配更多的执行器内存？
1条答案
按热度按时间a5g8bdjr1#
确保您的
yarn.site在启动服务时，在主容器和辅助容器上看起来完全相同。似乎您可能只在母版上编辑它，这可能是造成这种混乱的原因。一般来说，集群中所有机器上的所有配置文件（以及许多其他文件）看起来必须完全相同。