Kafka把我搞糊涂了。我用标准值在本地运行。仅启用“自动创建主题”。一个分区,一个节点,一切都是本地的,简单的。如果它写
consumer.subscribe("test_topic");
consumer.poll(10);
它根本不起作用,也找不到任何数据。如果我分配一个分区
consumer.assign(new TopicPartition("test_topic",0));
检查一下我坐在995的位置。现在可以投票并接收我的制作人输入的所有数据。
订阅有什么我不懂的?我不需要多个使用者,每个使用者只处理一部分数据。我的消费者需要获取某个主题的所有数据。为什么所有教程中都显示的标准订阅方法对我不起作用?我知道分区是为了负载平衡的消费者。我不明白我的订阅有什么问题。
consumer config properties
props.put("bootstrap.servers", "localhost:9092");
props.put("group.id", "postproc-" + EnvUtils.getAppInst()); // jeder ist eine eigene gruppe -> kriegt alles
props.put("enable.auto.commit", "true");
props.put("auto.commit.interval.ms", "1000");
props.put("session.timeout.ms", "30000");
props.put("key.deserializer", "org.apache.kafka.common.serialization.LongDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.ByteArrayDeserializer");
KafkaConsumer<Long, byte[]> consumer = new KafkaConsumer<Long, byte[]>(props);
producer config
props.put("bootstrap.servers", "localhost:9092");
props.put("acks", "all");
props.put("retries", 2);
props.put("batch.size", 16384);
props.put("linger.ms", 5000);
props.put("buffer.memory", 1024 * 1024 * 10); // 10mb
props.put("key.serializer", "org.apache.kafka.common.serialization.LongSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.ByteArraySerializer");
return new KafkaProducer(props);
producer execution
try (ByteArrayOutputStream out = new ByteArrayOutputStream()){
event.writeDelimitedTo(out);
for (long a = 10; a<20;a++){
long rand=new Random(a).nextLong();
producer.send(new ProducerRecord<>("test_topic",rand ,out.toByteArray()));
}
producer.flush();
}catch (IOException e){
消费者执行
consumer.subscribe(Arrays.asList("test_topic"));
ConsumerRecords<Long,byte[]> records = consumer.poll(10);
for (ConsumerRecord<Long,byte[]> r :records){ ...
2条答案
按热度按时间xj3cbfub1#
我想你错过了这里
如果kafka中没有初始偏移量,或者服务器上不再存在当前偏移量(例如,因为该数据已被删除),该怎么办:
最早:自动将偏移量重置为最早偏移量
最新:自动将偏移重置为最新偏移
无:如果没有为使用者的组找到以前的偏移量,则向使用者抛出异常
其他:向消费者抛出异常。
参考文献:http://kafka.apache.org/documentation.html#highlevelconsumerapi
qzlgjiam2#
我设法解决了这个问题。问题是超时。打桩时,我没有给它足够的时间来完成。我假设分配一个分区要快得多,而且要及时完成。标准订阅轮询需要更长的时间。从来没有真正完成,没有承诺。至少我认为这是问题所在。超时时间越长,效果越好。