我正在运行一个hadoopmapreduce作业,使用一个python程序创建不同的输入路径作为mapreduce作业的参数。在将这些输入路径传递到mapreduce之前,我正在使用以下命令检查hadoop fs路径是否存在:
hadoop fs -test -e 'filename'
然后,我的python程序与命令行通信并确定文件是否存在(如果文件存在,-test返回0,否则返回大于1的整数)。因为python程序正在检查路径是否存在,并将所有不存在的路径输出到一个单独的.txt文档中,所以我不需要知道哪些路径不存在作为命令行警告。
我想知道如何抑制(或忽略)自动hadoop fs输出:
test: 'fileName': No such file or directory
因为我输入了大量的路径,其中相当多的路径在hadoopfs中不存在。
1条答案
按热度按时间biswetbf1#
将错误/警告重定向到
/dev/null/
```hdfs dfs -test -e I/dont/exist 2>/dev/null