如果您有流查询，则可以扩展“StreamingQueryListener”，然后将其添加到

spark.streams.addListener(new EventCollector(APP_NAME))

字符串
其中，

EventCollector(APP_NAME) extends StreamingQueryListener

型
编写你自己的方法

onQueryStarted
onQueryProgress
onQueryTerminated

型
方法并在其中放入自定义代码

您的类可以扩展org.apache.spark.Logging并使用其中定义的帮助方法：

logInfo("task success") 
logWarn("didn't receive data")
...

字符串
请注意该trait上的 warning：
注意：不要在Spark之外使用这个类。它是一个内部实用程序。这可能会在未来的版本中更改或删除。