我正在编写一个scala代码,它要求我在hdfs中写入一个文件。当我使用 Filewriter.write
在本地,它是有效的。同样的事情在hdfs上不起作用。经过检查,我发现在apache spark中可以编写以下选项- RDD.saveAsTextFile
以及 DataFrame.write.format
.
我的问题是:如果我只想在apachespark中给文件写一个int或字符串呢?
后续:我需要向输出文件写入一个头文件、Dataframe内容,然后附加一些字符串。做 sc.parallelize(Seq(<String>))
救命啊?
2条答案
按热度按时间yk9xbfzb1#
跟进示例:(测试如下)
输出:
这里有更多的例子。
jogvjijk2#
创建
RDD
数据(int/string)使用Seq
:有关详细信息,请参阅并行集合: