我编写了一个kafka spark consumer,将来自kafka的消息写入cassandradb。Kafka主题中有24个分区。每5分钟发送2 mb消息,每批发送9000行。我在消息数据中添加了一个额外的系统时间戳列,并存储在cassandra中。我发现对于同一条消息,有多个条目具有不同的时间戳值和不同的键。这是否意味着我的Kafka线程工作不正常?请让我知道如果你有任何建议如何解决这个问题?
谢谢
我编写了一个kafka spark consumer,将来自kafka的消息写入cassandradb。Kafka主题中有24个分区。每5分钟发送2 mb消息,每批发送9000行。我在消息数据中添加了一个额外的系统时间戳列,并存储在cassandra中。我发现对于同一条消息,有多个条目具有不同的时间戳值和不同的键。这是否意味着我的Kafka线程工作不正常?请让我知道如果你有任何建议如何解决这个问题?
谢谢
暂无答案!
目前还没有任何答案,快来回答吧!