将scala对象写入parquet的最佳方法是什么?

cetgtptt  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(393)

我有一个从json创建的scala case类,比如case class person(age:int, name:string). 我知道我不能将json写入parquet。
我可以直接将case类写入parquet吗,或者我需要使用其他格式,如scrooge/thrift或avro?哪些api最适合用于此目的?

rggaifut

rggaifut1#

我认为您需要实现parquetwritesupport类来编写自定义类。

相关问题