在没有hive或impala库支持的情况下,使用java在hdfs中创建和填充Parquet文件的最佳方法是什么?我的目标是将一个简单的csv记录(字符串)写入hdfs中的parquet文件。以前提出的所有问题/答案都令人困惑。
axr492tv1#
似乎 parquet 先生是个不错的选择。它们为节俭和avro提供了实现。自己的实现应该基于parquetoutputformat,并且看起来可能类似于avroparquetoutputformat和avrowritesupport,后者执行实际的转换。
1条答案
按热度按时间axr492tv1#
似乎 parquet 先生是个不错的选择。它们为节俭和avro提供了实现。自己的实现应该基于parquetoutputformat,并且看起来可能类似于avroparquetoutputformat和avrowritesupport,后者执行实际的转换。