当我尝试的时候 conf.set("spark.executor.memory", "42g") 在Pypark上，我收到了这个消息“ IllegalArgumentException: u"Required executor memory (43008+384 MB) is above the max threshold (16384 MB) of this cluster! Please check the values of 'yarn.scheduler.maximum-allocation-mb' and/or 'yarn.nodemanager.resource.memory-mb'." .
这是集群hadoop的配置
3个名称节点（每个256 g）//2个边注解（每个128 g）//6个从属节点（每个256 g）//ambari ranger hdf（每个16 g）
我知道问题是ambari ranger hdf怎么只有16g，但确实存在一个不考虑ambari ranger在集群中的解决方案。