如何在hadoop中完成这个任务(实时公共订阅共享队列)

31moq8wy  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(171)

我有三根线a,b,c
a&b:循环,每次输出一行。
a和b都将数据写入c。
c:读取a和b的数据,并做一些处理。
我想在hdfs之上实现这个任务。所以a和b将数据写入hdfs,c从中读取数据。
所以首先我想到了一个想法,每次循环,a都会写入文件夹“/a-c”中的一个新文件。e、 在第一个循环中,输出一行到一个文件/a-c/0.txt,循环的下一次,/a-c/1.txt,等等。
读卡器c,从/a-c和/b-c读取文件,读取后删除文件。
这被证明是可行的,但效率极低。
问题:
有没有其他方法可以在hdfs(或channel)之上创建一个类似队列的结构,这样就有了一个公共通道p\u队列,a&b可以在其中写入数据,c可以从中读取数据。
(记住这些事情是同时发生的。)
或者,在hdfs上实现此任务的任何其他方法????????

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题