kubernetes上的Spark故障排除

drkbr07n  于 2021-05-17  发布在  Spark
关注(0)|答案(0)|浏览(413)

我有一个kubernetes集群,在那里我尝试运行一个spark示例应用程序(spark-pi)。
我已设置服务帐户= spark 脚本
当我做一个 spark-submit 从下面的命令行,我得到一个容器错误。

bin/spark-submit --master k8s://https://IP:port --deploy-mode cluster --name spark-pi --class org.apache.spark.examples.SparkPi --conf spark.executor.instances=2 --conf spark.kubernetes.container.image=spark:latest --conf spark.kubernetes.container.image.pullPolicy=Never --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark local:///opt/spark/examples/jars/spark-examples_2.12-3.1.0-SNAPSHOT.jar 10

期望值:
获取的值 pi = 3.14 打印在日志中
实际结果:
由于出现错误情况,驱动程序pod无法启动。当我在吊舱上做一个描述时,我看到以下内容: $ kubectl describe pods spark-pi-driver ```
"applicationState": {
"state": "FAILING",
"errorMessage": "driver container failed with ExitCode: 1, Reason: Error"
},

events:none
我也看不到任何事件
有没有更好的方法来解决这个问题?请帮忙。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题