Trigger.Once
flvlnr441#
从手册中：它会处理所有内容。请参阅以下内容。配置增量批处理Apache Spark提供了.trigger（once=True）选项来将所有来自源目录的新数据作为一个微批处理来处理。这个触发器once模式忽略了所有控制流输入大小的设置，这可能会导致大量溢出或内存不足错误。对于Delta Lake和Auto Loader源，Databricks在Databricks Runtime 10.2及更高版本中支持触发器（availableNow=True）。此功能将一次性触发器的批处理方法与配置批处理大小的能力相结合，从而生成多个并行批处理，为正确调整批处理大小和生成的文件给予更好的控制。
1条答案
按热度按时间flvlnr441#
从手册中：它会处理所有内容。请参阅以下内容。
配置增量批处理Apache Spark提供了.trigger（once=True）选项来将所有来自源目录的新数据作为一个微批处理来处理。这个触发器once模式忽略了所有控制流输入大小的设置，这可能会导致大量溢出或内存不足错误。
对于Delta Lake和Auto Loader源，Databricks在Databricks Runtime 10.2及更高版本中支持触发器（availableNow=True）。此功能将一次性触发器的批处理方法与配置批处理大小的能力相结合，从而生成多个并行批处理，为正确调整批处理大小和生成的文件给予更好的控制。