挑战
我目前有两个hortonworks集群,一个nifi集群和一个hdfs集群,并且希望使用nifi写入hdfs。
在nifi集群上,我使用一个连接到puthdfs的简单getfile。
当将一个文件推送到这里时,puthdfs将成功终止。然而,我没有看到一个文件被放到我的hfds(hdfs集群)上,而是看到一个文件被放到我运行nifi的本地文件系统上。
这使我困惑,因此我的问题是:
如何确保puthdfs写入hdfs,而不是本地文件系统?
可能相关背景:
在puthdfs中,我链接到了hdfs集群的配置单元站点和核心站点(我尝试更新hdfs namenode的所有服务器引用,但没有效果)
我不在hdfs集群上使用kerberos(我在nifi集群上使用它)
我没有在nifi应用程序日志中看到任何看起来像错误的东西(这是有意义的,因为它成功地写入了,只是在错误的地方)
这两个集群都是使用cloudbreak在amazonaws上新生成的,向所有流量开放所有节点并没有帮助
1条答案
按热度按时间ldfqzlk81#
您能确保您能够使用下面的命令将文件从nifi节点移动到hadoop吗command:- hadoop fs-投入
如果您能够使用上面的命令移动文件,那么您必须检查正在传递给puthdfs处理器的hadoop配置文件。
另外,请检查您没有运行任何其他流,以确保没有其他流正在处理该文件。