spark和java:error-classcastexception

z0qdvdin 于 2021-06-01 发布在 Hadoop

关注(0)|答案(1)|浏览(263)

我正是遵循这个例子https://github.com/rathboma/hadoop-framework-examples/tree/master/spark 当我试着跑的时候，我得到这样的信息：

java.lang.ClassCastException: org.apache.spark.api.java.Optional cannot be cast to com.google.common.base.Optional

我不知道我如何才能修复它，因为我是新手使用Spark。谢谢！！有什么建议吗？

1条答案

这是因为您使用spark 1.x来编译代码，但在spark 2.x集群中运行应用程序。您可以更新 pom.xml 要使用相同版本的spark cluster，可能还需要更新代码，因为2.x和1.x不兼容。