据我所知，我们可以在kafka上定义avro模式，用这个模式定义的主题只接受与这个模式匹配的数据。在接受数据进入队列之前验证数据结构非常有用。google的pub/sub里有类似的东西吗？
r6l8ljro1#
kafka本身并没有验证模式，因此主题本身也没有模式，只有一对字节数组和一些元数据。序列化程序是生成客户机的一部分，它在数据到达主题之前执行验证。同样，在pubsub中，在一天结束时，它只是存储/发送 byte[] 数据。因此，从理论上讲，在通过pubsub的数据的两端使用类似于合流avro模式注册表的东西是完全可行的。afaik，google没有提供这样的功能，因此您需要重新创建可以执行avro兼容性检查的服务，并在该服务的客户端周围绑定一个pubsub serialization+producer客户端。例如，您可以首先在gke中将注册表本身作为容器运行。可能想查看谷歌云发布订阅的avro消息？
byte[]
1条答案
按热度按时间r6l8ljro1#
kafka本身并没有验证模式，因此主题本身也没有模式，只有一对字节数组和一些元数据。序列化程序是生成客户机的一部分，它在数据到达主题之前执行验证。同样，在pubsub中，在一天结束时，它只是存储/发送
byte[]数据。因此，从理论上讲，在通过pubsub的数据的两端使用类似于合流avro模式注册表的东西是完全可行的。afaik，google没有提供这样的功能，因此您需要重新创建可以执行avro兼容性检查的服务，并在该服务的客户端周围绑定一个pubsub serialization+producer客户端。例如，您可以首先在gke中将注册表本身作为容器运行。
可能想查看谷歌云发布订阅的avro消息？