我可以使用相同的spark上下文使用actors编写不同的文件吗?

pb3s4cty  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(240)

我有一个要求,我试图基本上从谷歌存储读取目录,并试图将它们写入我的hdfs。我目前创建了一个actor系统,并将spark上下文传递给正在生成的每个actor。唯一的问题是读写操作仍然是按顺序进行的。有没有办法解决这个问题?
编辑:
我基本上是想把
gs://bucket/file1到hdfs://file1
以及
gs://bucket/file2到hdfs://file2
两个文件都要使用actors并行地提交到。actor1复制文件1,actor2复制文件2。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题