如何在node rdkafka中逐个读取消息

sg2wtvxw  于 2021-06-05  发布在  Kafka
关注(0)|答案(1)|浏览(491)

我用的是节点rdkafka(https://github.com/blizzard/node-rdkafka)为了使用消息,基本设置工作正常,但是每当我将某个内容推送到队列时,它都会触发该函数,而不管前面的方法是否完成。
我希望在上一个函数完成时触发下一个数据单元。
这是我的实现

const Kafka = require('node-rdkafka');
const topic = 'create_user_channel';
const consumer = new Kafka.KafkaConsumer({
    'group.id':'consumer',
    'metadata.broker.list': '*******',
    'sasl.mechanisms': 'PLAIN',
    'sasl.username': '********',
    'sasl.password': '********',
    'security.protocol': 'SASL_SSL',
    'enable.auto.commit':false
}, {});

// Connect the consumer.
consumer.connect({timeout: "1000ms"}, (err) => {
    if (err) {
        console.log(`Error connecting to Kafka broker: ${err}`);
        process.exit(-1);
    }

});
let is_pause = false;
consumer.on('ready', (arg)=>{
    console.log('consumer ready.' + JSON.stringify(arg));
    console.log('Consumer is ready');
    consumer.subscribe([topic]);
    setInterval(function() {
        console.log('consumer has consume on :'+timeMs());  
        consumer.consume();
      }, 1000);
});

consumer.on('data',async (data)=>{
    console.log('consumer is consuming data');
    if(!is_pause) {
        is_pause = true;
        if(data && typeof data !== 'undefined') {
            try {
                console.log('consumer received the data');
                consumer.pause([topic]);
                console.log('consumer has pause the consuming');
                await processMessage(data);
                console.log('consumer is resumed');
                consumer.resume([topic]);
                is_pause = false;
            } catch(error) {
                console.log('data consuming error');
                console.log(error);
            }
        } else {
            is_pause = false;
        }
    }
});
fdbelqdn

fdbelqdn1#

你在打电话吗 consume() (没有任何参数)以尽可能快的速度返回消息。
如果你想控制消费速度,你可以使用另一种方法 consume(size) ,返回 size Kafka唱片公司。例如 consume(1) 将返回下一张Kafka唱片。
请参见节点rdkafka consumer docs。

相关问题