我的filestream源连接器在kafka主题中将单个xml文件作为多条消息读取，即文件中的每一行作为单独的消息。如何克服这一点，即完整的文件被读取为一个消息？提前谢谢。
u4vypkhs1#
filestream连接器不能配置为将多行作为一条消息来读取，而且也只能用作开发目的的示例（根据docs），而不是productionized etl管道的一部分。因此，您需要其他方法将文件读入单个字符串(但还要注意，kafka的默认消息大小为1mb，不用于文件传输）
1条答案
按热度按时间u4vypkhs1#
filestream连接器不能配置为将多行作为一条消息来读取，而且也只能用作开发目的的示例（根据docs），而不是productionized etl管道的一部分。
因此，您需要其他方法将文件读入单个字符串(但还要注意，kafka的默认消息大小为1mb，不用于文件传输）