我看到kafka警告我当前示例未订阅的主题。我们使用相同的kafka代理，每个开发人员都有自己的主题。但是，我们都使用在属性文件中指定的相同默认groupid/clientid。
2017-06-27T11:48:35.20-0400 [APP/PROC/WEB/0]OUT 2017-06-27 15:48:35,195 WARN [NetworkClient] - [kafka-coordinator-heartbeat-thread | ingestion-matching-kafka-consumer-group] - Error while fetching metadata with correlation id 154274 : {to-process-yi=UNKNOWN_TOPIC_OR_PARTITION, to-process-shawn=UNKNOWN_TOPIC_OR_PARTITION}
2017-06-27T11:48:35.34-0400 [APP/PROC/WEB/0]OUT 2017-06-27 15:48:35,339 INFO [PdfXmlMatcherTask] - [scheduler-1] -
2017-06-27T11:48:35.34-0400 [APP/PROC/WEB/0]OUT 2017-06-27 15:48:35,340 INFO [PdfXmlMatcherTask] - [scheduler-1] - Checking messages...
2017-06-27T11:48:35.41-0400 [APP/PROC/WEB/0]OUT 2017-06-27 15:48:35,412 WARN [NetworkClient] - [scheduler-1] - Error while fetching metadata with correlation id 154275 : {to-process-yi=UNKNOWN_TOPIC_OR_PARTITION, to-process-shawn=UNKNOWN_TOPIC_OR_PARTITION}这是预期的吗？即使每个人都有自己的主题，我是否需要单独的组/客户ID？
其次，我不太清楚这个错误的含义：heartbeatcoordinator线程无法获取2个主题的元数据，但是这些主题存在，只是这些主题的使用者没有运行。
1条答案
按热度按时间oogrdqng1#
client.id-用于跟踪请求，对于每个客户端都应该是唯一的（虽然不是强制的）。
groupid-这只适用于消费者。根据您的简短描述，您可能希望每个消费者都在自己的组中。
我建议您阅读consumergroups的用途：“kafka通过在一个消费组中分配分区来扩展主题消费，这个消费组是共享一个公共组标识符的一组消费组。”https://www.confluent.io/blog/tutorial-getting-started-with-the-new-apache-kafka-0-9-consumer-client/
未知的\u主题\u或\u分区是一个错误，当主题或分区不存在时，代理会准确返回该错误。Kafka的客户认为这是一个错误，可以重审。
如果您认为该主题存在，请检查两次。也可能是主题存在，但生产者或消费者直接以现有主题的不存在分区为目标。