如何使用java在hdfs中创建和填充Parquet文件?

ltskdhd1  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(361)

在没有hive或impala库支持的情况下,使用java在hdfs中创建和填充Parquet文件的最佳方法是什么?
我的目标是将一个简单的csv记录(字符串)写入hdfs中的parquet文件。
以前提出的所有问题/答案都令人困惑。

axr492tv

axr492tv1#

似乎 parquet 先生是个不错的选择。它们为节俭和avro提供了实现。自己的实现应该基于parquetoutputformat,并且看起来可能类似于avroparquetoutputformat和avrowritesupport,后者执行实际的转换。

相关问题