我在 hive 里把table隔开了。所以我想看看hadoop hdfs中的目录结构?从文档中,我发现以下命令
hadoop fs -ls /app/hadoop/tmp/dfs/data/
以及 /app/hadoop/tmp/dfs/data/ 是我的数据路径。但是这个命令返回了ls:无法访问/app/hadoop/tmp/dfs/data/:没有这样的文件或目录。我错过什么了吗?
/app/hadoop/tmp/dfs/data/
nbnkbykc1#
检查core-site.xml文件和hdfs-site.xml文件中是否正确设置了tmp目录。如果没有设置,那么操作系统的临时目录(ubuntu中的tmp和windows中的%temp%)将被设置为hadoop tmp文件夹,因此重新启动计算机后可能会丢失数据。在xml中设置dfs.tmp.dir并重新启动集群。那就行了。即使在这之后,如果它没有被解决,请给出更多关于分区表代码和表数据的细节。
fzsnzjdm2#
除非我弄错了,否则您似乎在寻找一个可能在属性中定义的临时目录 hadoop.tmp.dir . 这是一个本地目录,但是当你 hadoop fs -ls 您正在查看哪些文件在hdfs中可用,因此您不会看到任何内容。由于您正在查找或配置单元目录,因此您正在您的hive-site.xml中查找以下属性:
hadoop.tmp.dir
hadoop fs -ls
hive.metastore.warehouse.dir
默认值为 /user/hive/warehouse ,因此,如果您尚未更改此属性,则可以执行以下操作:
/user/hive/warehouse
hadoop fs -ls /user/hive/warehouse
这将显示您的表目录。
2条答案
按热度按时间nbnkbykc1#
检查core-site.xml文件和hdfs-site.xml文件中是否正确设置了tmp目录。如果没有设置,那么操作系统的临时目录(ubuntu中的tmp和windows中的%temp%)将被设置为hadoop tmp文件夹,因此重新启动计算机后可能会丢失数据。在xml中设置dfs.tmp.dir并重新启动集群。那就行了。即使在这之后,如果它没有被解决,请给出更多关于分区表代码和表数据的细节。
fzsnzjdm2#
除非我弄错了,否则您似乎在寻找一个可能在属性中定义的临时目录
hadoop.tmp.dir
. 这是一个本地目录,但是当你hadoop fs -ls
您正在查看哪些文件在hdfs中可用,因此您不会看到任何内容。由于您正在查找或配置单元目录,因此您正在您的hive-site.xml中查找以下属性:
默认值为
/user/hive/warehouse
,因此,如果您尚未更改此属性,则可以执行以下操作:这将显示您的表目录。