添加Parquetavro支持烫伤

bybem2ql  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(337)

如何创建
Scalding Source 它将处理 avro 以及 parquet .
解决方案应:

1. Read from parquet format and convert to avro memory representation
 2. Write avro objects into a parquet file

注意:我注意到cascading有一个模块用于利用节俭和Parquet。我突然想到这是一个开始寻找的好地方。我还打开了一个关于googlegroups/shulding dev的帖子

lfapxunr

lfapxunr1#

试试这个叉子的最新变化-https://github.com/epishkin/scalding/tree/parquet_avro/scalding-parquet

相关问题