pyspark 如何从数据块作业运行中提取失败消息?

wfypjpf4  于 2023-10-15  发布在  Spark
关注(0)|答案(1)|浏览(111)

我正在创建一个最终将输入到一个tableau报告的框架。应该从失败作业的数据块作业运行中提取数据,并沿着失败原因。我能够通过使用/API/2.1/jobs/runs/get?run_id。但是我正在努力寻找一种方法来从notebook url中提取错误消息(API没有)
例如:我需要阅读下面的AnalysisException:'and the message here'
有人有什么建议吗?
先谢了。
我尝试在数据块中使用不同的API,并尝试从笔记本URL读取。

polhcujo

polhcujo1#

使用此API /api/2.1/jobs/runs/get-output。这是其文档的链接:https://docs.databricks.com/api/workspace/jobs/getrunoutput。如果作业失败,API响应中将有一个error字段。

相关问题