我正试着和Kubernetes开始一个有Spark的工作。我们的spark作业使用mapr客户机,因此部署到pods中的docker映像同时包含spark和maprjar文件。我在客户机模式下使用spark submit启动作业。驱动程序pod在运行spark submit作业的同一pod中成功启动。然后它尝试启动执行器吊舱。这些启动,但立即失败。失败是由于以下类的noclassdeffounderror异常导致的:
org/apache/hadoop/mapreduce/inputformat
我在docker图像中搜索了jar,发现这个类要在以下jar中定义:
/opt/mapr/hadoop/hadoop-2.7.0/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.7.0-mapr-1808.jar
spark.executor.extraclasspath包含目录/opt/mapr/hadoop/hadoop-2.7.0/share/hadoop/mapreduce,因此似乎没有将此属性传递给executor。以前有人见过这个问题并解决了这个问题吗?
提前谢谢。
暂无答案!
目前还没有任何答案,快来回答吧!