如何使用DeltaTable API在pyspark中设置增量表的表属性

fdx2calv 于 2023-03-17 发布在 Spark

关注(0)|答案(1)|浏览(164)

下面是我在PySpark中尝试的代码

from delta import DeltaTable

delta_table = DeltaTable.forPath(spark, delta_table_path)
delta_table.logRetentionDuration = "interval 1 days"

在此之后，我们需要保存此配置，否则它将自动适用。我们如何检查表的当前logRetentionDuration设置。我尝试在下面获取属性信息

delta_table.detail()

但返回空{}

1条答案

使用Spark SQL：

spark.sql("ALTER TABLE delta.`path\to\delta\table` SET TBLPROPERTIES ('delta.logRetentionDuration'='1 days')")

spark.sql("DESCRIBE DETAIL delta.`path\to\delta\table\path`").show(truncate=False)

在***“属性”***列下，您可以看到指定增量表的日志保留持续时间。
注意：如果保留期设置不正确，上述SQL命令将在属性列中返回{}。