我使用Kafka1.1版与Kafka连接,我面临一个错误,我不明白。我无法连接到hdfs,如果我设置如下内容:
hdfs.url": "/user/myuser/mydirectory"
或者类似的(注意没有端口):
hdfs.url": "hdfs://hostname/user/myuser/mydirectory"
我有一个错误:
state: "FAILED",
trace: "java.lang.NullPointerException
at io.confluent.connect.hdfs.HdfsSinkTask.close(HdfsSinkTask.java:135)
at org.apache.kafka.connect.runtime.WorkerSinkTask.commitOffsets(WorkerSinkTask.java:377)
at org.apache.kafka.connect.runtime.WorkerSinkTask.closePartitions(WorkerSinkTask.java:576)
at org.apache.kafka.connect.runtime.WorkerSinkTask.execute(WorkerSinkTask.java:177)
at org.apache.kafka.connect.runtime.WorkerTask.doRun(WorkerTask.java:170)
at org.apache.kafka.connect.runtime.WorkerTask.run(WorkerTask.java:214)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)
正常吗?文件里有什么遗漏吗?你能帮帮我吗?我找不到一个更好的方法,也找不到一个解决办法,可以毫不在意地调用我的namenodes。
1条答案
按热度按时间zpqajqem1#
解决方案是在我的配置中缺少“hadoop.conf.dir”。
我不得不添加它,因为我正在高可用性模式下使用hdfs。