我得到一个错误Kafka连接hdfs连接器,没有数据写入hdfs

zynd9foi  于 2021-06-06  发布在  Kafka
关注(0)|答案(0)|浏览(211)

kafka连接器启动正常并读取主题中的数据流,但是,它不写入任何数据,当我停止连接器时,会出现错误
我已经确保主题和日志目录是在hdfs文件系统上创建的

name=hdfs-sink
connector.class=io.confluent.connect.hdfs.HdfsSinkConnector
tasks.max=1
topics=rstest

# hdfs.url=adl:///

hdfs.url=hdfs://headnodehost
flush.size=3

这是屏幕的输出
[2019-05-08 12:08:20963]信息开放记录作者:hdfs://headnodehost/topics//+tmp/rstest/partition=1/4ef1de96-bd7c-437c-b210-2ef6e62d3ead\u tmp.avro(io.confluent.connect.hdfs.avro.avrorecordwrite)rprovider:66)^c[2019-05-08 12:08:32911]信息Kafka连接正在停止(org.apache.kafka.connect.runtime)。connect:65) [2019-05-08 12:08:32,913]停止rest服务器的信息(org.apache.kafka.connect.runtime.rest.r)estserver:211)[2019-05-08 12:08:32918]信息已停止http_8083@6c03fb16{http/1.1}{0.0.0.0:8083}(org.eclipse.jetty.server.server)connector:306)[2019-05-08 12:08:32958]信息停止o.e.j.s。servletcontexthandler@4e31c3ec{/,空,不可用}(org.eclipse.jetty.server.handler.contexthandler:865)[2019-05-08 12:08:32960]信息rest服务器已停止(org.apache.kafka.connect.runtime.rest.r)estserver:222)[2019-05-08 12:08:32960]信息牧民停止(org.apache.kafka.connect.runtime.standalone.standal)oneherder:77) [2019-05-08 12:08:32,960]信息停止任务hdfs-sink-0(org.apache.kafka.connect.runtime)。worker:478)**[2019-05-08 12:08:33,113]丢弃临时文件时出错hdfs://headnodehost/topics//+tmp/rstest/partition=1/4ef1de96-bd7c-437c-b210-2EF6E62D3在关闭topicpartitionwriter:(io.confluent.connect.hdfs.topicpartit)时读取\u tmp.avro for rstest-1 partition=1ionwriter:451)org.apache.kafka.connect.errors.dataexception:*java.nio.channels.closedchannelexception位于io.confluent.connect.hdfs.avro.avrorecordwriterprovider$1.close(avrorecordwriterprovider。java:97)

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题