我对Apache·Kafka比较陌生。作为一个小项目的一部分，我试图把一个文本日志文件作为一条单独的消息放在Kafka中。我遇到了一些编码错误。kafka的javaapi（据我所知）包含了主要用于字符串编码的规定。
作为解决方法，我在kafka中逐行抛出日志文件，其中每行表示一条消息，但这并不能解决我最初的问题陈述—一个文件作为一条消息。
我对Apache·Kafka比较陌生。作为一个小项目的一部分，我试图把一个文本日志文件作为一条单独的消息放在Kafka中。我遇到了一些编码错误。kafka的javaapi（据我所知）包含了主要用于字符串编码的规定。
作为解决方法，我在kafka中逐行抛出日志文件，其中每行表示一条消息，但这并不能解决我最初的问题陈述—一个文件作为一条消息。
1条答案
按热度按时间tvokkenx1#
你应该包括错误消息。
不管怎样，只要producer/broker/consumer上的最大消息大小设置允许，就可以在单个消息中向kafka发送任意大文件。
代理不关心数据的类型，因为它们以二进制格式存储数据。
顺便说一句，我不确定对大文件使用kafka的效率有多高，因为根据linkedin的测试，最佳缓冲区大小在64-128kb之间。
如果我是你，我会做一些测试：）