kafka是否将s3支持从json连接到parquet?感谢使用kafka connect s3提供的可用和替代建议
3pvhb19x1#
kafka是否将s3支持从json连接到parquet?不,没有。根据文档页面:你必须使用 AvroConverter 在s3Flume连接器中使用 parquet 模板。正在尝试使用 JsonConverter (有或没有架构)将导致运行时异常。您可以选择ksqldb先将数据重新序列化到avro中,例如:
AvroConverter
JsonConverter
CREATE STREAM source (COL1 VARCHAR, COL2 INT, COL3 BIGINT) WITH (VALUE_FORMAT='JSON', KAFKA_TOPIC='my_source_topic'); CREATE STREAM target WITH (KAFKA_TOPIC='my_target_topic', VALUE_FORMAT='AVRO') AS SELECT * FROM source;
说完你就沉下去了 my_target_topic 到s3使用Parquet格式(您甚至可以从ksqldb使用 CREATE SINK CONNECTOR… )
my_target_topic
CREATE SINK CONNECTOR…
1条答案
按热度按时间3pvhb19x1#
kafka是否将s3支持从json连接到parquet?
不,没有。根据文档页面:
你必须使用
AvroConverter
在s3Flume连接器中使用 parquet 模板。正在尝试使用JsonConverter
(有或没有架构)将导致运行时异常。您可以选择ksqldb先将数据重新序列化到avro中,例如:
说完你就沉下去了
my_target_topic
到s3使用Parquet格式(您甚至可以从ksqldb使用CREATE SINK CONNECTOR…
)