我有一个kafka producer类,它每次都会生成初始化连接的数据,这是一个耗时的过程,所以为了更快,我想实现kafka连接池。我搜索了很多解决方案,但没有找到正确的一个。请重定向到正确的解决方案。谢谢。我的Kafka制作人课程是:
import java.util.Properties;
import org.apache.log4j.Logger;
import com.bisil.report.queue.QueueDBFeederService;
import kafka.javaapi.producer.Producer;
import kafka.producer.KeyedMessage;
import kafka.producer.ProducerConfig;
@SuppressWarnings("deprecation")
public class KafkaProducer1 implements ProducerService {
private static Producer<Integer, String> producer;
private static final String topic= "mytopic1";
private Logger logger = Logger.getLogger(KafkaProducer1.class);
@Override
public void initialize() {
try {
Properties producerProps = new Properties();
producerProps.put("metadata.broker.list", "192.168.21.182:9092");
producerProps.put("serializer.class", "kafka.serializer.StringEncoder");
producerProps.put("request.required.acks", "1");
ProducerConfig producerConfig = new ProducerConfig(producerProps);
producer = new Producer<Integer, String>(producerConfig);
} catch (Exception e) {
logger.error("Exception while sending data to server "+e,e);
}
logger.info("Test Message");
}
@Override
public void publishMessage(String jsonPacket) {
KeyedMessage<Integer, String> keyedMsg = new KeyedMessage<Integer, String >(topic, jsonPacket);
producer.send(keyedMsg);
// This publishes message on given topic
}
@Override
public void callMessage(String jsonPacket){
initialize();
// Publish message
publishMessage(jsonPacket);
//Close the producer
producer.close();
}
}
2条答案
按热度按时间zpgglvta1#
您可以将所有消息放入数组中,迭代地将其发布到主题中,然后在完成时关闭生产者。这样只会调用一次初始化和一次关闭或销毁。您可以执行以下操作
mbjcgjjk2#
如果我的理解是正确的,那么您需要一个producer对象池,当新的发布请求发生时,它总是可用的,并且在任务完成时等待其他请求,当您需要从池中获取kafkaproducer对象时,您的需求可能与apachecommons实现的“对象池”(java中带有executor框架(pool)的对象工厂)匹配。在apachecommons jar中实现并可用的对象池概念。https://dzone.com/articles/creating-object-pool-java