json到Parquet地板

zaq34kh6  于 2021-06-05  发布在  Kafka
关注(0)|答案(1)|浏览(334)

kafka是否将s3支持从json连接到parquet?感谢使用kafka connect s3提供的可用和替代建议

3pvhb19x

3pvhb19x1#

kafka是否将s3支持从json连接到parquet?
不,没有。根据文档页面:
你必须使用 AvroConverter 在s3Flume连接器中使用 parquet 模板。正在尝试使用 JsonConverter (有或没有架构)将导致运行时异常。
您可以选择ksqldb先将数据重新序列化到avro中,例如:

CREATE STREAM source (COL1 VARCHAR, COL2 INT, COL3 BIGINT) WITH (VALUE_FORMAT='JSON', KAFKA_TOPIC='my_source_topic');

CREATE STREAM target WITH (KAFKA_TOPIC='my_target_topic', VALUE_FORMAT='AVRO') AS SELECT * FROM source;

说完你就沉下去了 my_target_topic 到s3使用Parquet格式(您甚至可以从ksqldb使用 CREATE SINK CONNECTOR… )

相关问题