我试图发送日志从solr直接到Kafka使用log4j。虽然日志将被打印到stdout,但是没有数据到达kafka。我可以用命令行生成器将数据推送到kafka。
我得到的警告和错误:
WARN - 2015-01-19 12:09:25.545; org.apache.solr.cloud.Overseer$ClusterStateUpdater; Solr cannot talk to ZK, exiting Overseer main queue loop
INFO - 2015-01-19 12:09:25.552; org.apache.solr.cloud.Overseer$ClusterStateUpdater; Overseer Loop exiting : 10.254.120.50:8900_solr
WARN - 2015-01-19 12:09:25.554; org.apache.solr.common.cloud.ZkStateReader$2; ZooKeeper watch triggered, but Solr cannot talk to ZK
ERROR - 2015-01-19 12:09:25.560; org.apache.solr.cloud.Overseer$ClusterStateUpdater; could not read the data
org.apache.zookeeper.KeeperException$SessionExpiredException: KeeperErrorCode = Session expired for /overseer_elect/leader
我的log4j.properties文件:
solr.log=/home/solradmin/solr/latest/logs/
log4j.rootLogger=INFO, file, KAFKA
log4j.logger.KAFKA=INFO, file
log4j.logger.solr=INFO, KAFKA
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%5p [%t] (%F:%L) - %m%n
log4j.appender.KAFKA=kafka.producer.KafkaLog4jAppender
log4j.appender.KAFKA.layout=org.apache.log4j.PatternLayout
log4j.appender.KAFKA.layout.ConversionPattern=%-5p: %c - %m%n
log4j.appender.KAFKA.BrokerList=localhost:9092
log4j.appender.KAFKA.Topic=herpderp
log4j.appender.file=org.apache.log4j.RollingFileAppender
log4j.appender.file.MaxFileSize=100MB
log4j.appender.file.MaxBackupIndex=9
log4j.appender.file.File=${solr.log}/solr.log
log4j.appender.file.layout=org.apache.log4j.PatternLayout
log4j.appender.file.layout.ConversionPattern=%-5p - %d{yyyy-MM-dd HH:mm:ss.SSS}; %C; %m\n
log4j.logger.org.apache.solr=DEBUG
log4j.logger.org.apache.zookeeper=WARN
log4j.logger.org.apache.hadoop=WARN
log4j文档没有将kafka列为受支持的附加器。但是kafka文档显示log4j很容易配置。
log4j需要某种插件来支持kafka吗?
我使用以下来源尝试了不同的配置:http://kafka.apache.org/07/quickstart.html kafklog4jappender没有将应用程序日志推送到kafka主题。
1条答案
按热度按时间velaa5lx1#
确保根记录器不记录到自身。
我的完整配置
java应用程序
pom.xml文件
注意solr不使用log4j,它使用一个名为slf4j的 Package 器
信贷:认识一下拉杰德夫和我是同事,一起工作过。