pyspark AWS GlueStudio '日期差异'

plupiseo  于 2022-11-01  发布在  Spark
关注(0)|答案(1)|浏览(193)

有没有人试过使用awsgluestudio和custOm SQL查询?我目前正试图找到像这样的日期之间的天数差异。

select
datediff(currentDate, expire_date) as days_since_expire

但在数据预览窗口中,我看到

  • 分析例外:无法解析给定输入列的“currentDate”:[];第3行第9位;'项目['日期差异('nz_事件日期,'安装日期)AS安装日期以来天数#613] +-一行关系 *

有人知道如何修复此解决方案或导致此问题的原因吗?

nqwrtyyt

nqwrtyyt1#

不要编写PostgreSQL/T/PL(或任何其他风格)SQL,而是“输入Apache SparkSQL查询”。仔细阅读以下内容:使用SQL查询转换数据(在AWS Glue的“SQL查询”转换任务中)https://docs.aws.amazon.com/glue/latest/ug/transforms-sql.html
您可以在AWS Glue“SQL查询”转换任务中编写函数以实现所需的转换,如下所示(遵循正确的语法):https://spark.apache.org/docs/latest/sql-ref-functions-builtin.html
顺便说一句:你写的错误与你的选择语句没有关联,有很多潜在的原因,但我写这个答案只是为了你的问题标题或其他可能来到这里的人。

相关问题