我的filestream源连接器在kafka主题中将单个xml文件作为多条消息读取,即文件中的每一行作为单独的消息。如何克服这一点,即完整的文件被读取为一个消息?提前谢谢。
u4vypkhs1#
filestream连接器不能配置为将多行作为一条消息来读取,而且也只能用作开发目的的示例(根据docs),而不是productionized etl管道的一部分。因此,您需要其他方法将文件读入单个字符串(但还要注意,kafka的默认消息大小为1mb,不用于文件传输)
1条答案
按热度按时间u4vypkhs1#
filestream连接器不能配置为将多行作为一条消息来读取,而且也只能用作开发目的的示例(根据docs),而不是productionized etl管道的一部分。
因此,您需要其他方法将文件读入单个字符串(但还要注意,kafka的默认消息大小为1mb,不用于文件传输)