kafka连接hdfs接收器连接器错误

bhmjp9jg  于 2021-06-01  发布在  Hadoop
关注(0)|答案(1)|浏览(333)

我使用Kafka1.1版与Kafka连接,我面临一个错误,我不明白。我无法连接到hdfs,如果我设置如下内容:

hdfs.url": "/user/myuser/mydirectory"

或者类似的(注意没有端口):

hdfs.url": "hdfs://hostname/user/myuser/mydirectory"

我有一个错误:

state: "FAILED",
trace: "java.lang.NullPointerException 
   at io.confluent.connect.hdfs.HdfsSinkTask.close(HdfsSinkTask.java:135) 
   at org.apache.kafka.connect.runtime.WorkerSinkTask.commitOffsets(WorkerSinkTask.java:377) 
   at org.apache.kafka.connect.runtime.WorkerSinkTask.closePartitions(WorkerSinkTask.java:576) 
   at org.apache.kafka.connect.runtime.WorkerSinkTask.execute(WorkerSinkTask.java:177) 
   at org.apache.kafka.connect.runtime.WorkerTask.doRun(WorkerTask.java:170) 
   at org.apache.kafka.connect.runtime.WorkerTask.run(WorkerTask.java:214) 
   at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
   at java.util.concurrent.FutureTask.run(FutureTask.java:266) 
   at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149
   at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
   at java.lang.Thread.run(Thread.java:748)

正常吗?文件里有什么遗漏吗?你能帮帮我吗?我找不到一个更好的方法,也找不到一个解决办法,可以毫不在意地调用我的namenodes。

zpqajqem

zpqajqem1#

解决方案是在我的配置中缺少“hadoop.conf.dir”。
我不得不添加它,因为我正在高可用性模式下使用hdfs。

相关问题