我可以逐行读取hadoop文件吗

dhxwm5r4  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(435)

我想从hadoop文件系统中逐行读取unix框中的记录:
示例-

while read line

do 

echo "input record " $line

### some other logic i have here....

done < /user/want/to/read/from/hadoop/part00

上面的代码片段显示了错误-


**: cannot open [No such file or directory]**

如何使用unix工具阅读hadoop?

ktecyv1j

ktecyv1j1#

使用 hadoop fs 访问这些文件内容的命令:

while IFS= read -r line; do
  echo "Read: $line"
done < <(hadoop fs -cat hdfs://nodename/filename)

请注意 <() 构造需要bash;因此,您的脚本需要从 #!/bin/bash ,不是 #!/bin/sh .

相关问题