如何将本地csv文件转换为jupyter服务器上的sparkDataframe?

1szpjjfi  于 2021-05-24  发布在  Spark
关注(0)|答案(1)|浏览(422)

我的csv文件在jupyter服务器的目录中。每当我试图把它作为一个错误载入我的笔记本时,我都会出错 spark dataframe 使用 spark.read.csv .
我得到的错误是:

AnalysisException: u'Path does not exist.
``` `spark.read.csv` 希望我的文件位于 `hdfs` 当它在我的jupyter目录里的时候。如何解决?
zour9fqk

zour9fqk1#

要将文件从本地复制到hdfs,请尝试以下操作

hadoop fs -copyFromLocal /local/path/to/file.csv

hdfs dfs -put /local/path/to/file.csv  /user/hadoop/hadoopdir

相关问题