无法解析spark作业中的符号拆分

yhxst69z 于 2021-06-02 发布在 Hadoop

关注(0)|答案(1)|浏览(301)

我在我的intellijide上运行一个spark应用程序，作为一个maven项目，我试图创建一个rowrdd并将其转换为dataframe并存储在hdfs中。
spark版本：1.5.2 scala版本：2.10.4
我的代码：

val rowRDD= dataframename.map(_.split("\t")).map(p => Row(p(0),p(1),p(2),p(3)))

它报告值拆分不是我的类包的成员，并且报告应用程序不接受任何参数。
有一些依赖问题，我需要帮助。
注意：我已经完成了rowrdd的模式防御
谢谢你的支持

1条答案

从spark dataframe文档：

map[R](f: (Row) ⇒ R)(implicit arg0: ClassTag[R]): RDD[R]
"Returns a new RDD by applying a function to all rows of this DataFrame."

所以当你打电话的时候 map 在df上，你正在Map Row 没有 split 方法。
请参阅Dataframe，行文档。