avro兼容时只对文档中的一些字段进行了修改

rjjhvcjd  于 2021-06-08  发布在  Kafka
关注(0)|答案(1)|浏览(628)

在我的应用程序中,我一直使用avro作为kafka的离线处理数据格式。我有一个用例,其中producer使用的模式与consumer使用的模式几乎相同,只是producer在某些字段的文档中有一些更改。消费者是否能够在不出错的情况下使用这些事件?我正在调试一个数据管道中缺少大量事件的问题,并试图找出根本原因。我注意到了这种差异,并想了解这是否会引起问题。

rqqzpn5f

rqqzpn5f1#

您可能应该测试以确认,但是文档不应该影响模式解析,因为模式应该被规范化为“规范形式”:https://avro.apache.org/docs/1.7.7/spec.html#parsing+规范+形式+for+模式

相关问题