有没有可能，我们可能会失去一些信息，如果我们使用雪花Kafka连接器。例如，如果kafka连接器读取消息并在将消息写入variant表之前提交偏移量，那么我们将丢失该消息。如果我们使用Kafka连接，会发生这种情况吗如果你有任何的例子，这些也是欢迎的，谢谢！
zour9fqk1#
根据雪花的记录kafka和kafka连接器都是容错的。消息既不会被复制，也不会被自动删除。消息只传递一次，否则将生成错误消息。如果在加载记录时检测到错误（例如，该记录应该是格式良好的json或avro记录，但不是格式良好的），则不加载该记录；相反，会返回一条错误消息。也列出了限制条件。可以说，没有什么是不可能的，但如果你不信任Kafka，我就不会使用Kafka。如何以及在何处释放消息也取决于您的总体架构，比如记录是否写入您正在使用的kafka主题，如何划分？
1条答案
按热度按时间zour9fqk1#
根据雪花的记录
kafka和kafka连接器都是容错的。消息既不会被复制，也不会被自动删除。消息只传递一次，否则将生成错误消息。如果在加载记录时检测到错误（例如，该记录应该是格式良好的json或avro记录，但不是格式良好的），则不加载该记录；相反，会返回一条错误消息。
也列出了限制条件。可以说，没有什么是不可能的，但如果你不信任Kafka，我就不会使用Kafka。如何以及在何处释放消息也取决于您的总体架构，比如记录是否写入您正在使用的kafka主题，如何划分？