spark saveastextfile未按预期工作，请参阅下面的代码

7vux5j2d 于 2021-05-27 发布在 Hadoop

关注(0)|答案(2)|浏览(405)

val reduced_rdd = mofm.reduceByKey(_ + _)
                      .map(item => item.swap)
                      .sortByKey(false)
                      .take(5)
                      .saveAsTextFile("/home/scrapbook/tutorial/IPLData/")

给出错误：

<console>:40: error: value saveAsTextFile is not a member of Array[(Int, String)]
   val reduced_rdd = mofm.reduceByKey(_ + _).map(item => item.swap).sortByKey(false).take(5).saveAsTextFile("/home/scrapbook/tutorial/IPLData/")

hadoop apache-spark

来源：https://stackoverflow.com/questions/54842779/spark-saveastextfile-is-not-working-as-expected-please-refer-below-code

2条答案

按热度按时间

wbrvyc0a1#

take(5) is an action on RDD which returns a Array (list).

这意味着没有saveastextfile方法可调用，因为数组没有此类方法。
这个错误也说明了这一点-
saveastextfile不是数组的成员
rdd上的任何操作都返回实际的数据集（取决于调用的操作）
您可以在spark-here-actions-in-spark-rdd中阅读不同的操作函数
现在，如果您想将rdd中的数据保存到文本文件中，您需要通过rdd调用saveastextfile（“path-to-file”）。

赞(0）回复(0）举报 2021-05-27

rggaifut2#

.take(5) or .collect

导致rdd类型被删除。
saveastextfile需要rdd；你不再有后采取（5）或收集。
你需要：

val x = ...
...
take(5)

sc.parallelize(x).saveAsTextFile("path")

赞(0）回复(0）举报 2021-05-27

我来回答

spark saveastextfile未按预期工作，请参阅下面的代码

2条答案

相关问题

热门标签

最新问答