我用的是节点rdkafka(https://github.com/blizzard/node-rdkafka)为了使用消息,基本设置工作正常,但是每当我将某个内容推送到队列时,它都会触发该函数,而不管前面的方法是否完成。
我希望在上一个函数完成时触发下一个数据单元。
这是我的实现
const Kafka = require('node-rdkafka');
const topic = 'create_user_channel';
const consumer = new Kafka.KafkaConsumer({
'group.id':'consumer',
'metadata.broker.list': '*******',
'sasl.mechanisms': 'PLAIN',
'sasl.username': '********',
'sasl.password': '********',
'security.protocol': 'SASL_SSL',
'enable.auto.commit':false
}, {});
// Connect the consumer.
consumer.connect({timeout: "1000ms"}, (err) => {
if (err) {
console.log(`Error connecting to Kafka broker: ${err}`);
process.exit(-1);
}
});
let is_pause = false;
consumer.on('ready', (arg)=>{
console.log('consumer ready.' + JSON.stringify(arg));
console.log('Consumer is ready');
consumer.subscribe([topic]);
setInterval(function() {
console.log('consumer has consume on :'+timeMs());
consumer.consume();
}, 1000);
});
consumer.on('data',async (data)=>{
console.log('consumer is consuming data');
if(!is_pause) {
is_pause = true;
if(data && typeof data !== 'undefined') {
try {
console.log('consumer received the data');
consumer.pause([topic]);
console.log('consumer has pause the consuming');
await processMessage(data);
console.log('consumer is resumed');
consumer.resume([topic]);
is_pause = false;
} catch(error) {
console.log('data consuming error');
console.log(error);
}
} else {
is_pause = false;
}
}
});
1条答案
按热度按时间fdbelqdn1#
你在打电话吗
consume()
(没有任何参数)以尽可能快的速度返回消息。如果你想控制消费速度,你可以使用另一种方法
consume(size)
,返回size
Kafka唱片公司。例如consume(1)
将返回下一张Kafka唱片。请参见节点rdkafka consumer docs。