apache kafka中的java存储图像?

watbbzwu  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(676)

Kafka的大用户(如linkedin)是否在Kafka存储上传的图片?我喜欢将所有内容都放入日志的架构简单性,但我担心它在实践中可能行不通。

rt4zxlrg

rt4zxlrg1#

理论上没有限制,因为您可以轻松地将图像作为二进制存储在kafka队列中。但可能还有其他问题。。我会考虑一下的
有一个 message.max.bytes 参数,默认值为 1000000 . 这样做实际上是为了防止代理耗尽内存,因为使用者没有流式传输消息的选项,必须分配内存才能读取消息。一种解决方法是压缩kafka中的消息以节省空间。
我能找到的最合适的条件是通过传递发送和接收缓冲区的预分配来编写自己的客户机实现,如本文所述,通过kafka提供零拷贝文件传输。
你需要检查是否有可能做出这样的努力来实现同样的目标。

相关问题