我想从hadoop文件系统中逐行读取unix框中的记录:示例-
while read line do echo "input record " $line ### some other logic i have here.... done < /user/want/to/read/from/hadoop/part00
上面的代码片段显示了错误-
**: cannot open [No such file or directory]**
如何使用unix工具阅读hadoop?
ktecyv1j1#
使用 hadoop fs 访问这些文件内容的命令:
hadoop fs
while IFS= read -r line; do echo "Read: $line" done < <(hadoop fs -cat hdfs://nodename/filename)
请注意 <() 构造需要bash;因此,您的脚本需要从 #!/bin/bash ,不是 #!/bin/sh .
<()
#!/bin/bash
#!/bin/sh
1条答案
按热度按时间ktecyv1j1#
使用
hadoop fs
访问这些文件内容的命令:请注意
<()
构造需要bash;因此,您的脚本需要从#!/bin/bash
,不是#!/bin/sh
.