如何从hdfs中的目录结构中删除所有文件？

pvcm50d1 于 2021-05-29 发布在 Hadoop

关注(0)|答案(1)|浏览(805)

我想清理一下环境。我想递归地执行以下命令，而不必对每个子文件夹进行硬编码。因为我在hdfs目录中有数百个子文件夹。

hadoop fs -rm -r /a/b1/c1/d1.txt

hadoop fs -rm -r /a/b2/c2/d2.txt

hadoop fs -rm -r /a/b3/c3/d3.txt

hadoop fs -rm -r /a/bn/cn/dn.txt

我想删除所有的文件，但不是目录或子目录。我不知道如何使用递归命令来保持hdfs中的目录结构，同时删除其中的所有文件。

1条答案

hadoop fs -ls -R /directory/structure/ | grep "\.json" | awk '{print $8}' | xargs -I{} hadoop fs -rm "{}"