我尝试用IntelliJ导入一个逗号分隔的.csv
文件到Scala 2.12.12版本的项目中,一直导入不成功,这个文件有100万行5列,除了导入读取文件外,还要在数据中找到按月的合计。
我试过:
val df = spark.read.option("header", true).csv("C:\Users\trialrun\Desktop\DataExtract.csv")
Spark抛出错误:not found: value df
我也尝试过这个方法,但得到了相同的错误:
df = spark.read.csv("file:///C:\\Users\trialrun\Desktop\DataExtract.csv").show()
我的build.sbt
是成功的,我已经在IntelliJ中创建了一个对象,以尝试从桌面读取csv文件,但是,我需要帮助正确导入依赖项,以及正确的逻辑,以使IntelliJ从桌面读取带有标题的.csv
文件。
1条答案
按热度按时间drnojrws1#
我能够解决我的问题,我创建了另一个spark scala项目,并使用版本2.11.11,spark-core和spark-sql的依赖项为2.1.0,刷新.sbt后,所有正确的依赖项都被添加了,所有的错误都消失了,我能够加载csv文件。