pyspark AWS Glue catalogPartitionPredicate:to_date不起作用

iqxoj9l9  于 2023-10-15  发布在  Spark
关注(0)|答案(1)|浏览(99)

我计划在我的一个项目中使用catalogPartitionPredicate。我无法处理其中一个场景。详情如下:
1.分区列:年、月、日

  1. catalogPartitionPredicate:年份>='2021'和月份>='12'
    如果年份更改为2022(2022-01-01),并且我想读取2021-12-01的数据;表达式将无法处理,因为它不允许读取2022数据。我试着连接分区键,但是没有用。
    是否有任何方法来实现to_date功能或任何其他解决方法来处理此场景?
uplii1fm

uplii1fm1#

你不需要月份,只用“year>='2021'"。这是同样的逻辑,你正在使用关于“一天”

相关问题