它在我的云上占用了600gb的空间，我的代码仍在运行。想知道这个是否可以删除。
ahy6op9u1#
不，你不应该这样做。据我所知，pig的temp文件是reducer下一步将使用的中间Map器文件。您可以压缩中间文件以节省空间，而不是删除它使用gzip，您将获得更好的压缩（96-99%），但代价是4%的速度减慢。-dpig.tmpfilecompression=真-dpig.tmpfilecompression.codec=gz您可以在pig文档中看到更多的调优选项。https://pig.apache.org/docs/r0.16.0/perf.html#compression
1条答案
按热度按时间ahy6op9u1#
不，你不应该这样做。据我所知，pig的temp文件是reducer下一步将使用的中间Map器文件。您可以压缩中间文件以节省空间，而不是删除它
使用gzip，您将获得更好的压缩（96-99%），但代价是4%的速度减慢。
-dpig.tmpfilecompression=真
-dpig.tmpfilecompression.codec=gz
您可以在pig文档中看到更多的调优选项。
https://pig.apache.org/docs/r0.16.0/perf.html#compression