我正在尝试对kubernetes群集中的节点运行Pypark作业，但当我尝试创建Pypark.sql.sparksession时，日志中会出现以下错误：

java.io.InvalidClassException: org.apache.spark.scheduler.cluster.CoarseGrainedClusterMessages$RetrieveSparkAppConfig$; local class incompatible: stream classdesc serialVersionUID = -3781927201751596568, local class serialVersionUID = 2700058563611836699

我使用的是带有hadoop2.7的spark 2.4.6预构建版本，节点使用的docker映像是使用以下命令构建的，从预构建的分发文件夹执行：

/bin/docker-image-tool.sh -p kubernetes/dockerfiles/spark/bindings/python/Dockerfile -r {repo} -t {tag} build

发布pyspark作业的机器运行ubuntu18.04，通过pip安装openjdk8jdk和pyspark2.4.6。spark\u home环境变量被设置到构建docker映像的spark分发文件夹中，并且java\u home被正确设置。
请注意，没有向分发中添加额外的jar。
我知道这通常是由版本不匹配引起的，但我不知道这里有什么不匹配。
提前谢谢你的帮助