我已经使用eclipse使用单节点集群配置了hadoop。我有大量的文本文件需要解析。eclipse提供了将文件直接上传到hdfs中的功能，但是我找不到这些文件到底存储在我的驱动器中的什么位置。iam寻找的是配置hdfs的位置。这样我就可以直接把我的文本文件粘贴到那个文件夹里。
jaql4c8m1#
这个设定在 dfs.datanode.data.dir 属性，默认为 file://${hadoop.tmp.dir}/dfs/data （详见此处）。但是，不能将文件放在那里，因为hdfs不会自动发现它们。插入文件hdfs也涉及namenode的元数据操作。它不仅仅是复制一个文件那么简单。需要将文件划分为块，并且需要在名称节点中更新适当的元数据数据结构。您应该继续使用eclipse提供的将文件上载到hdfs的接口，或者您可以在命令行（使用 hdfs dfs -put ).
dfs.datanode.data.dir
file://${hadoop.tmp.dir}/dfs/data
hdfs dfs -put
1条答案
按热度按时间jaql4c8m1#
这个设定在
dfs.datanode.data.dir属性，默认为file://${hadoop.tmp.dir}/dfs/data（详见此处）。但是，不能将文件放在那里，因为hdfs不会自动发现它们。插入文件hdfs也涉及namenode的元数据操作。它不仅仅是复制一个文件那么简单。需要将文件划分为块，并且需要在名称节点中更新适当的元数据数据结构。您应该继续使用eclipse提供的将文件上载到hdfs的接口，或者您可以在命令行（使用
hdfs dfs -put).