我看到kafkaconnect可以用avro或json格式写入s3。但没有Parquet地板的支持。这有多难添加？
agxfikkp1#
从Confluent5.4.0开始，官方支持将parquet输出到s3。
qeeaahzv2#
qubole连接器支持写Parquet-https://github.com/qubole/streamx
h9a6wy2h3#
尝试 secor : https://github.com/pinterest/secor可以与aws s3、谷歌云、azure的blob存储等配合使用。请注意，您选择的解决方案必须具有以下关键特性：保证每个消息只写一次、负载分布、容错、监视、分区数据等。 Secor 如前所述，您可以轻松地使用其他“s3”样式的服务。。
secor
Secor
3条答案
按热度按时间agxfikkp1#
从Confluent5.4.0开始，官方支持将parquet输出到s3。
qeeaahzv2#
qubole连接器支持写Parquet-https://github.com/qubole/streamx
h9a6wy2h3#
尝试
secor: https://github.com/pinterest/secor可以与aws s3、谷歌云、azure的blob存储等配合使用。
请注意，您选择的解决方案必须具有以下关键特性：保证每个消息只写一次、负载分布、容错、监视、分区数据等。
Secor如前所述，您可以轻松地使用其他“s3”样式的服务。。