我在hdfs bigfile.txt中有一个大文件。我想把它的前100行复制到hdfs上的一个新文件中。我尝试了以下命令：
hadoop fs -cat /user/billk/bigfile.txt |head -100 /home/billk/sample.txt
它给了我一个“cat:无法写入输出流”的错误。我在hadoop1上。还有其他方法吗(注意：将前100行复制到本地或hdfs上的其他文件是可以的）
jv4diomz1#
像这样-
hadoop fs -cat /user/billk/bigfile.txt | head -100 | hadoop -put - /home/billk/sample.txt
我相信“cat:cannot to write output stream”只是因为head在读取了流的限制之后关闭了流。看看这个关于hdfs的答案-https://stackoverflow.com/a/19779388/3438870
1条答案
按热度按时间jv4diomz1#
像这样-
我相信“cat:cannot to write output stream”只是因为head在读取了流的限制之后关闭了流。看看这个关于hdfs的答案-https://stackoverflow.com/a/19779388/3438870