我想知道在kafka connect支持的情况下,将json模式添加到消息中有什么好处?
ivqmmu1c1#
模式是数据管道的重要组成部分。kafka connect支持在json中嵌入它,或者您可以使用另一个选项(avro、protobuf)。如果您没有一个模式,那么对于数据的消费者来说,您的生活会变得更加困难,有些人会坚持使用它,例如jdbc sink connector要求有一个模式,如果没有,它就会失败。为了回答您的问题,如果您不想使用avro或protobuf(如果您喜欢有大量冗余重复数据的大消息;-)然后可以使用kafka connect json模式格式。
1条答案
按热度按时间ivqmmu1c1#
模式是数据管道的重要组成部分。kafka connect支持在json中嵌入它,或者您可以使用另一个选项(avro、protobuf)。如果您没有一个模式,那么对于数据的消费者来说,您的生活会变得更加困难,有些人会坚持使用它,例如jdbc sink connector要求有一个模式,如果没有,它就会失败。
为了回答您的问题,如果您不想使用avro或protobuf(如果您喜欢有大量冗余重复数据的大消息;-)然后可以使用kafka connect json模式格式。