Apache Spark 在增量表中自动递增列,无需重新键入

hgc7kmma  于 2023-01-13  发布在  Apache
关注(0)|答案(1)|浏览(127)

到目前为止,我有一个dim delta表,我使用row_number()+max(dim_id)计算dim_id。
尺寸标识|用户标识
千零一|1个
小行星1002|三个
1003|五个
1004年|九
例如,如果我删除了1004 ID,然后插入一个新的user_id,如7(row_number()+max(dim_id)= 1004)1004 ID重复。是否有任何方法可以防止已使用的ID在从增量表中删除后未创建

8xiog9wr

8xiog9wr1#

  • 解决这个问题的最佳方法是Primary Key,但到目前为止还不支持。
  • 您可以将monotonically_increasing_id()row_number()合并为两列。示例如下:生成唯一递增值

研发部:

  1. monotonically_increasing_id()
  2. Constraints on Databricks

相关问题