如果在一个主题上，我接收到一些表示相同结构列表的格式的消息（例如，json列表或protobuf中的重复字段），我是否可以配置kafka connect将列表中的每个条目作为一个单独的行写入（例如在hdfs中的parquet文件中，或在sql数据库中）？是否可以仅使用捆绑的转换器/连接器？
i、 我能用Kafka的每一条信息来代表数千条记录，而不是发送数千条单独的信息吗？
用Kafka连接实现这一目标的简单方法是什么？
如果在一个主题上，我接收到一些表示相同结构列表的格式的消息（例如，json列表或protobuf中的重复字段），我是否可以配置kafka connect将列表中的每个条目作为一个单独的行写入（例如在hdfs中的parquet文件中，或在sql数据库中）？是否可以仅使用捆绑的转换器/连接器？
i、 我能用Kafka的每一条信息来代表数千条记录，而不是发送数千条单独的信息吗？
用Kafka连接实现这一目标的简单方法是什么？
1条答案
按热度按时间ljsrvy3e1#
捆绑的消息转换只能进行一对一的消息操作。因此，如果希望connect将这些扁平列表作为单独的记录写入，则必须以某种方式（直接或通过流处理应用程序）显式生成这些扁平列表。
或者，如果适用，您也可以使用hive或spark来扩展该列表以供以后处理。