无法解析spark作业中的符号拆分

yhxst69z  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(302)

我在我的intellijide上运行一个spark应用程序,作为一个maven项目,我试图创建一个rowrdd并将其转换为dataframe并存储在hdfs中。
spark版本:1.5.2 scala版本:2.10.4
我的代码:

val rowRDD= dataframename.map(_.split("\t")).map(p => Row(p(0),p(1),p(2),p(3)))

它报告值拆分不是我的类包的成员,并且报告应用程序不接受任何参数。
有一些依赖问题,我需要帮助。
注意:我已经完成了rowrdd的模式防御
谢谢你的支持

3yhwsihp

3yhwsihp1#

从spark dataframe文档:

map[R](f: (Row) ⇒ R)(implicit arg0: ClassTag[R]): RDD[R]
"Returns a new RDD by applying a function to all rows of this DataFrame."

所以当你打电话的时候 map 在df上,你正在Map Row 没有 split 方法。
请参阅Dataframe,行文档。

相关问题