databricks在作业完成时两次触发作业写入/更新\u成功文件

dced5bon  于 2021-05-29  发布在  Spark
关注(0)|答案(0)|浏览(194)

我使用基于s3事件的触发器来触发lambda函数。每次在s3中的特定位置写入\u成功文件时,它都会触发lambda函数。正在使用databricks spark jobs在源位置写入数据。据观察,一旦作业将数据写入源位置,lambda函数就会被触发两次,而且是一致的。
只有当databricks作业写入了\u success时,才会观察到这种行为。我试着从cli写这个文件,它只触发lambda函数一次。
从databricks的工作中了解这种行为背后的原因会很有帮助。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题