spark错误:服务器ipc版本9无法与客户端版本4通信

voj3qocg  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(315)

我使用的是hadoop2.7.0版本、scala2.10.4、java1.7.0\u21和spark1.3.0
我已经创建了一个小文件如下

hduser@ubuntu:~$ cat /home/hduser/test_sample/sample1.txt
Eid1,EName1,EDept1,100
Eid2,EName2,EDept1,102
Eid3,EName3,EDept1,101
Eid4,EName4,EDept2,110
Eid5,EName5,EDept2,121
Eid6,EName6,EDept3,99

以及在运行以下命令时获取错误。

scala> val emp = sc.textFile("/home/hduser/test_sample/sample1.txt")
emp: org.apache.spark.rdd.RDD[String] = /home/hduser/test_sample/sample1.txt MapPartitionsRDD[5] at textFile at <console>:21

scala> val dept = emp.map(_.split(",")).map(r => r(3))
dept: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[7] at map at <console>:23

scala> dept.collect().foreach(println)
java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException: Server IPC version 9 cannot communicate with client version 4

你能告诉我在这种情况下该怎么办吗。

vfhzx4xs

vfhzx4xs1#

请查看spark下载页面。”https://spark.apache.org/downloads.html". 为不同的hadoop版本预先构建了spark发行版。

相关问题