Intellij Idea 使用IntelliJ将本地.csv读入spark scala 2.12.12

gopyfrb3  于 2022-12-22  发布在  Spark
关注(0)|答案(1)|浏览(273)

我尝试用IntelliJ导入一个逗号分隔的.csv文件到Scala 2.12.12版本的项目中,一直导入不成功,这个文件有100万行5列,除了导入读取文件外,还要在数据中找到按月的合计。
我试过:

val df = spark.read.option("header", true).csv("C:\Users\trialrun\Desktop\DataExtract.csv")

Spark抛出错误:not found: value df
我也尝试过这个方法,但得到了相同的错误:

df = spark.read.csv("file:///C:\\Users\trialrun\Desktop\DataExtract.csv").show()

我的build.sbt是成功的,我已经在IntelliJ中创建了一个对象,以尝试从桌面读取csv文件,但是,我需要帮助正确导入依赖项,以及正确的逻辑,以使IntelliJ从桌面读取带有标题的.csv文件。

drnojrws

drnojrws1#

我能够解决我的问题,我创建了另一个spark scala项目,并使用版本2.11.11,spark-core和spark-sql的依赖项为2.1.0,刷新.sbt后,所有正确的依赖项都被添加了,所有的错误都消失了,我能够加载csv文件。

相关问题