Kafka 从主题刷新页面后，消息消失

amrnrhlw 于 2023-06-28 发布在 Apache

关注(0)|答案(1)|浏览(79)

当我们使用retention.ms = 604800000时，消息将消失。
我们只有一个消费者，这是一个Kafka连接器，在它从主题中读取数据之前，消息开始消失。

{
  "topic_name": "test",
  "partitions_count": 6,
  "replication_factor": 3,
  "configs": [
    {
      "name": "cleanup.policy",
      "value": "delete"
    },
    {
      "name": "compression.type",
      "value": "producer"
    },
    {
      "name": "confluent.key.schema.validation",
      "value": "false"
    },
    {
      "name": "confluent.value.schema.validation",
      "value": "false"
    },
    {
      "name":"retention.ms",
      "value":"-1"
    }
  ]
}

注意：当我使用retention.ms =-1时，消息不会消失。
1.为什么信息会消失？2.is使用retention.ms = -1（无穷大）的好方法吗？如果我使用-1当这些消息将被删除？

apache-kafka

来源：https://stackoverflow.com/questions/76512431/messages-are-disappearing-after-refreshing-the-page-from-topic

1条答案

按热度按时间

fd3cxomn1#

由于我在消息生成API中使用的时间戳，消息正在消失。我们应该使用最新的时间戳来避免这个问题。
请求API：-https://pkc-00000.region.provider.confluent.cloud/kafka/v3/clusters/{cluster_id}/topics/{topic_name}/records
样品有效载荷：

{
  "partition_id": 1,
  "headers": [
    {
      "name": "Header-1",
      "value": "SGVhZGVyLTE="
    },
    {
      "name": "Header-2",
      "value": "SGVhZGVyLTI="
    }
  ],
  "key": {
    "type": "BINARY",
    "data": "Zm9vYmFy"
  },
  "value": {
    "type": "JSON",
    "data": {
      "foo": "bar"
    }
  },
  **"timestamp": "2021-02-05T19:14:42Z"**
}

赞(0）回复(0）举报 2023-06-28

我来回答

Kafka 从主题刷新页面后，消息消失

1条答案

相关问题

热门标签

最新问答