在emr上运行spark(ami3.8)。当尝试将rdd写入本地文件时,在名称/主节点上没有得到任何结果。
在我以前的emr集群上(与bootstrap脚本安装的spark版本相同,而不是作为emr的附加组件),数据将写入name节点上的本地dir。现在我可以看到它出现在集群中其他节点的“/home/hadoop/test/\u temporary/0/task*”目录中,但只有主节点上的“success”文件。
如何使文件只写入名称/主节点?
下面是我使用的命令示例:
myRDD.saveAsTextFile("file:///home/hadoop/test")
1条答案
按热度按时间mklgxw1f1#
我可以使用一种循环的方式来完成这一任务,首先推送到hdfs,然后使用shell命令将结果写入本地文件系统。但我很想知道其他人是否有更优雅的方法。