如何创建
Scalding Source
它将处理 avro
以及 parquet
.
解决方案应:
1. Read from parquet format and convert to avro memory representation
2. Write avro objects into a parquet file
注意:我注意到cascading有一个模块用于利用节俭和Parquet。我突然想到这是一个开始寻找的好地方。我还打开了一个关于googlegroups/shulding dev的帖子
1条答案
按热度按时间lfapxunr1#
试试这个叉子的最新变化-https://github.com/epishkin/scalding/tree/parquet_avro/scalding-parquet