我想从hadoop文件系统中逐行读取unix框中的记录：示例-
while read line do echo "input record " $line ### some other logic i have here.... done < /user/want/to/read/from/hadoop/part00
上面的代码片段显示了错误-
**: cannot open [No such file or directory]**
如何使用unix工具阅读hadoop？
ktecyv1j1#
使用 hadoop fs 访问这些文件内容的命令：
hadoop fs
while IFS= read -r line; do echo "Read: $line" done < <(hadoop fs -cat hdfs://nodename/filename)
请注意 <() 构造需要bash；因此，您的脚本需要从 #!/bin/bash ，不是 #!/bin/sh .
<()
#!/bin/bash
#!/bin/sh
1条答案
按热度按时间ktecyv1j1#
使用
hadoop fs访问这些文件内容的命令：请注意
<()构造需要bash；因此，您的脚本需要从#!/bin/bash，不是#!/bin/sh.