如何在运行spark-submit时,以编程方式检查spark作业是成功还是失败。通常使用unix退出代码。
phase: Failed
container status:
container name: spark-kubernetes-driver
container image: <regstry>/spark-py:spark3.2.1
container state: terminated
container started at: 2022-03-25T19:10:51Z
container finished at: 2022-03-25T19:10:57Z
exit code: 1
termination reason: Error
2022-03-25 15:10:58,457 INFO submit.LoggingPodStatusWatcherImpl: Application Postgres-Minio-Kubernetes.py with submission ID spark:postgres-minio-kubernetes-py-b70d3f7fc27829ec-driver finished
2022-03-25 15:10:58,465 INFO util.ShutdownHookManager: Shutdown hook called
2022-03-25 15:10:58,466 INFO util.ShutdownHookManager: Deleting directory /tmp/spark-3321e67c-73d5-422d-a26d-642a0235cf23
进程失败,当我在unix中通过echo $得到退出代码时,它返回了一个零错误代码!
$ echo $?
0
pod也是随机生成的。除了使用sparkonk 8 operator之外,spark-submit还有什么处理方式?
2条答案
按热度按时间crcmnpdw1#
如果你正在使用bash,一种方法是grep输出。你可能需要grep输出
stderr
orstdout
,这取决于日志输出被发送到哪里。大概是这样的:
t5zmwmid2#
除了@Rico提到的事情之外,我还考虑了
cluster
和client
的部署模式,并更改了$SPARK_HOME/bin目录中的spark-submit
shell文件,如下所示。然后,我已经建立和推动我的Spark码头形象。
有关详细信息,请参阅以下链接: