nifiputhdfs写入本地文件系统

qxsslcnc  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(422)

挑战

我目前有两个hortonworks集群,一个nifi集群和一个hdfs集群,并且希望使用nifi写入hdfs。
在nifi集群上,我使用一个连接到puthdfs的简单getfile。
当将一个文件推送到这里时,puthdfs将成功终止。然而,我没有看到一个文件被放到我的hfds(hdfs集群)上,而是看到一个文件被放到我运行nifi的本地文件系统上。
这使我困惑,因此我的问题是:

如何确保puthdfs写入hdfs,而不是本地文件系统?

可能相关背景:

在puthdfs中,我链接到了hdfs集群的配置单元站点和核心站点(我尝试更新hdfs namenode的所有服务器引用,但没有效果)
我不在hdfs集群上使用kerberos(我在nifi集群上使用它)
我没有在nifi应用程序日志中看到任何看起来像错误的东西(这是有意义的,因为它成功地写入了,只是在错误的地方)
这两个集群都是使用cloudbreak在amazonaws上新生成的,向所有流量开放所有节点并没有帮助

ldfqzlk8

ldfqzlk81#

您能确保您能够使用下面的命令将文件从nifi节点移动到hadoop吗command:- hadoop fs-投入
如果您能够使用上面的命令移动文件,那么您必须检查正在传递给puthdfs处理器的hadoop配置文件。
另外,请检查您没有运行任何其他流,以确保没有其他流正在处理该文件。

相关问题