禁止命令行输出hadoop fs命令

kmynzznz  于 2021-06-01  发布在  Hadoop
关注(0)|答案(1)|浏览(504)

我正在运行一个hadoopmapreduce作业,使用一个python程序创建不同的输入路径作为mapreduce作业的参数。在将这些输入路径传递到mapreduce之前,我正在使用以下命令检查hadoop fs路径是否存在:

hadoop fs -test -e 'filename'

然后,我的python程序与命令行通信并确定文件是否存在(如果文件存在,-test返回0,否则返回大于1的整数)。因为python程序正在检查路径是否存在,并将所有不存在的路径输出到一个单独的.txt文档中,所以我不需要知道哪些路径不存在作为命令行警告。
我想知道如何抑制(或忽略)自动hadoop fs输出:

test: 'fileName': No such file or directory

因为我输入了大量的路径,其中相当多的路径在hadoopfs中不存在。

biswetbf

biswetbf1#

将错误/警告重定向到 /dev/null/ ```
hdfs dfs -test -e I/dont/exist 2>/dev/null

相关问题