数据写入pageCache或磁盘后是否有Kafka响应ack？

5fjcxozz 于 2023-01-01 发布在 Apache

关注(0)|答案(1)|浏览(126)

许多文章告诉我，Kafka首先将数据写入PageCache，这样可以提高写入性能。
但是，我有一个疑问，当ack=-1时，当copy=2时，数据确实已经存在于两个节点的PageCache中。
如果Kafka此时立即响应acks，则两个节点同时经历断电或系统崩溃，此时，两个节点的数据都还没有持久存储在磁盘上。
在这种极端情况下，数据丢失仍然会发生？

来源：https://stackoverflow.com/questions/72515409/kafka-response-ack-after-the-data-is-written-to-pagecache-or-to-disk

1条答案

按热度按时间

在上述情况下可能会发生数据丢失。
相关阅读：

this other answer
Confluent blog post："由于日志数据不会从页面缓存同步刷新到磁盘，Kafka依赖于复制到多个代理节点，以提供持久性。默认情况下，代理将不会确认produce请求，直到将其复制到其他代理。"

赞(0）回复(0）举报 2023-01-01

相关问题

热门标签

Java query python Node 开发语言 request Util 数据库 Table 后端算法 Logger Message Element Parser

最新问答

xxl-job 安全组扫描到执行器端口服务存在信息泄露漏洞
回答(1) 发布于 5个月前
xxl-job 不能和nacos兼容？
回答(3) 发布于 5个月前
xxl-job 任务执行完后无法结束，日志一直转圈
回答(3) 发布于 4个月前
xxl-job-admin页面上查看调度日志样式问题
回答(1) 发布于 5个月前
xxl-job 参数512字符限制能否去掉
回答(1) 发布于 5个月前