我正在使用dataproc使用scala实现spark作业。我的spark工作的目的是在gcs中读取数据并进行一些转换,然后在gcs下写入结果数据。我们从spark write得到的文件是part-00,我想重命名它们,但是我找不到任何解决方案,因为写入的文件在gcs下,而不是hdfs下。你知道怎么解决这个问题吗。谢谢。
sqyvllje1#
在dataproc集群上,仍然可以运行相同的 hadoop fs -mv 针对gcs的命令与针对hdfs的命令相同,只是使用了完整的“gs://bucket/filename…”路径。
hadoop fs -mv
1条答案
按热度按时间sqyvllje1#
在dataproc集群上,仍然可以运行相同的
hadoop fs -mv
针对gcs的命令与针对hdfs的命令相同,只是使用了完整的“gs://bucket/filename…”路径。