pyspark Spark代码读取一组CSV,给出javalink错误

1wnzp6jl  于 12个月前  发布在  Spark
关注(0)|答案(1)|浏览(152)

我在一个子目录(donation)中有一组CSV文件。我试图读取CSV并创建一个DataFrame。
spark.read.csv(“donation/block*.csv”)。
但我得到了以下错误。
线程“globPath-ForkJoinPool-1-worker-1”中出现异常java.lang.UnsatisfiedLinkError:'boolean org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(java.lang.String,int)'

ru9i0ody

ru9i0ody1#

你得到这个错误在Windows上?我面临着类似的问题在Windows上,我尝试了多种方法,但没有工作.对我来说,工作是没有任何正则表达式模式的文件名.给予完整的名称,你的文件沿着它的绝对路径.例如,而不是

spark.read.csv("donation/block*.csv")

字符串
使用

spark.read.csv("C:\\Users\\Desktop\\donation\\block123.csv")


如果要同时读取多个文件,可以传递多个路径。

spark.read.csv("C:\\Users\\Desktop\\donation\\block123.csv","C:\\Users\\Desktop\\donation\\block123.csv")


请注意:我假设你在windows上使用spark只是为了进行特别的分析或调试,因为windows不是运行spark作业的理想平台。

相关问题