如何查看hadoop数据目录结构?

at0kjp5o  于 2021-06-04  发布在  Hadoop
关注(0)|答案(2)|浏览(691)

我在 hive 里把table隔开了。所以我想看看hadoop hdfs中的目录结构?
从文档中,我发现以下命令

hadoop fs -ls /app/hadoop/tmp/dfs/data/

以及 /app/hadoop/tmp/dfs/data/ 是我的数据路径。但是这个命令返回了
ls:无法访问/app/hadoop/tmp/dfs/data/:没有这样的文件或目录。
我错过什么了吗?

nbnkbykc

nbnkbykc1#

检查core-site.xml文件和hdfs-site.xml文件中是否正确设置了tmp目录。如果没有设置,那么操作系统的临时目录(ubuntu中的tmp和windows中的%temp%)将被设置为hadoop tmp文件夹,因此重新启动计算机后可能会丢失数据。在xml中设置dfs.tmp.dir并重新启动集群。那就行了。即使在这之后,如果它没有被解决,请给出更多关于分区表代码和表数据的细节。

fzsnzjdm

fzsnzjdm2#

除非我弄错了,否则您似乎在寻找一个可能在属性中定义的临时目录 hadoop.tmp.dir . 这是一个本地目录,但是当你 hadoop fs -ls 您正在查看哪些文件在hdfs中可用,因此您不会看到任何内容。
由于您正在查找或配置单元目录,因此您正在您的hive-site.xml中查找以下属性:

hive.metastore.warehouse.dir

默认值为 /user/hive/warehouse ,因此,如果您尚未更改此属性,则可以执行以下操作:

hadoop fs -ls /user/hive/warehouse

这将显示您的表目录。

相关问题