我有一个要求,我试图基本上从谷歌存储读取目录,并试图将它们写入我的hdfs。我目前创建了一个actor系统,并将spark上下文传递给正在生成的每个actor。唯一的问题是读写操作仍然是按顺序进行的。有没有办法解决这个问题?编辑:我基本上是想把gs://bucket/file1到hdfs://file1以及gs://bucket/file2到hdfs://file2两个文件都要使用actors并行地提交到。actor1复制文件1,actor2复制文件2。
目前还没有任何答案,快来回答吧!
暂无答案!
目前还没有任何答案,快来回答吧!