我的hadoop集群在aws emr中运行有问题。
当我用lzo或bz2压缩运行集群步骤时，一切都正常。问题是，我想要一个更好的压缩，也可以处理分裂，所以我去使用4mz（或zstd）从https://github.com/carlomedas/4mc.
现在，当我运行群集时，它会失败，并出现一个错误： ... is running beyond physical memory limits. Current usage: 4.6 GB of 4 GB physical memory used; 6.3 GB of 20 GB virtual memory used. Killing container. ... 我试着用 mapreduce.reduce.memory.mb 但它仍然失败了（只是后来。。。看起来减速机在失效前完成了更多的压缩）。
我想知道为什么使用这种新的压缩类型会使我的集群失败？
我的集群：8个c4.xlarge示例
谢谢！