org.apache.hadoop.io.compress.zstd.zstandardcompressor中的压缩级别似乎不起作用。我看到reset函数在zstandardcompressor构造函数中被调用，它将call init（level，stream）转换为调用本机函数，我认为这是唯一设置zstd参数的地方。在我的测试中，我确保这是被调用的，但是调用它的级别不同，比如1，5，10。20 etc没有任何区别，因为输出大小完全相同。
hadoop似乎没有使用zstdjni，也没有使用自己的东西来使用zstd。我确信人们在hadoop中使用不同的级别。你能告诉我下一步该怎么做吗
1条答案
按热度按时间new9mtju1#
鉴于人们发现这个问题没有答案，我添加了我使用的解决方案。internalparquetrecordwriter以compressor作为参数，因此我通过扩展ByteInputCompressor创建了一个压缩器，在这里集成了zstd jni库。