我需要将所有通过Kafka Connect（spooldir）从csv文件创建的消息标记为来自同一个文件。我可以为这些消息添加任意键吗？（例如，键是文件的名称）另外，如果在未处理的目录中有两个文件，Kafka Connect会逐个处理它们？不会将来自不同文件的消息混合在主题流中？
qni6mghb1#
您可以使用InsertField$Key转换。https://docs.confluent.io/platform/current/connect/transforms/insertfield.html但是，这会添加静态数据，因此无法直接访问已读取的文件。换句话说，来自不同文件的事件最终会插入相同的键。不在主题流中混合来自不同文件的消息所有文件的所有行将被读入一个接收器主题;因此将在分区内和分区之间混合。
InsertField$Key
1条答案
按热度按时间qni6mghb1#
您可以使用
InsertField$Key转换。https://docs.confluent.io/platform/current/connect/transforms/insertfield.html
但是，这会添加静态数据，因此无法直接访问已读取的文件。换句话说，来自不同文件的事件最终会插入相同的键。
不在主题流中混合来自不同文件的消息
所有文件的所有行将被读入一个接收器主题;因此将在分区内和分区之间混合。