删除并添加Kafka主题中的压缩主题中的现有数据将发生什么变化?

qvtsj1bj  于 2021-06-06  发布在  Kafka
关注(0)|答案(1)|浏览(366)

如果主题没有 compression ,并且主题中已存在一些数据。现在这个主题是 compression ,是否会压缩现有数据?
另一个方向是,如果主题设置为 compression ,并且主题中已经存在一些数据,是否将现有数据解压缩?
这个问题引起了数据消费者的担忧。当主题中有一些数据被压缩,而另一些没有压缩时,这是非常混乱的,或者代理知道那些事件被压缩,而那些不在同一主题中,并且将传递正确的数据?
如果现有数据与压缩设置不对应,我将通过配置非常低的保留时间来删除现有数据。直到主题非常干净,没有数据,然后我将摄取数据,以确保每个事件要么被压缩,要么不被压缩。

omjgkv6w

omjgkv6w1#

压缩记录和未压缩记录可以共存于一个主题中。相应的压缩类型存储在每个记录中(实际上是记录批处理),因此使用者知道如何处理此消息。
在代理端,它通常不关心记录批是否被压缩。假设没有对旧的格式化记录进行向下转换,代理总是按原样保存批处理。

相关问题