我使用的是hadoop2.7.0版本、scala2.10.4、java1.7.0\u21和spark1.3.0
我已经创建了一个小文件如下
hduser@ubuntu:~$ cat /home/hduser/test_sample/sample1.txt
Eid1,EName1,EDept1,100
Eid2,EName2,EDept1,102
Eid3,EName3,EDept1,101
Eid4,EName4,EDept2,110
Eid5,EName5,EDept2,121
Eid6,EName6,EDept3,99
以及在运行以下命令时获取错误。
scala> val emp = sc.textFile("/home/hduser/test_sample/sample1.txt")
emp: org.apache.spark.rdd.RDD[String] = /home/hduser/test_sample/sample1.txt MapPartitionsRDD[5] at textFile at <console>:21
scala> val dept = emp.map(_.split(",")).map(r => r(3))
dept: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[7] at map at <console>:23
scala> dept.collect().foreach(println)
java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException: Server IPC version 9 cannot communicate with client version 4
你能告诉我在这种情况下该怎么办吗。
1条答案
按热度按时间vfhzx4xs1#
请查看spark下载页面。”https://spark.apache.org/downloads.html". 为不同的hadoop版本预先构建了spark发行版。