hadoop hdfs cat管道edgenode到hdfs

mfpqipee  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(464)

我正在尝试将数据作为管道从本地edgenode发送到hdfs。其目的是模拟来自外部服务器的数据通过边缘节点撞击管道,然后将其降落到hdfs中。这是我们的要求。我试过下面的命令,但它似乎停止了。

mkfifo my_pipe
cat mysqlfile.sql my_pipe & cat pipe | hdfs dfs -put /user/bob/test.txt
z9zf31ra

z9zf31ra1#

如果你 cat 它将挂起的命名管道,因为它等待 EOF .
如果您想使用管道来实现这一点,也许您应该尝试一些更简单的方法,例如:

cat mysqlfile.sql | hadoop fs -put - /path/you/desire/file.txt

您将在这个线程中找到一些关于命名管道、cat和tail的有用信息。

相关问题