我正在使用glue bookmark特性，它似乎在源代码上正常工作：只处理新文件。我想知道倒带（或重置）功能是否也能识别需要在目的地更新的数据？我应该在源代码和汇代码中使用相同的转换ctx值来启用它吗？源代码是s3到catalog（json），目标代码是s3（parquet），两者都带有dynamicframe libs
nkkqxpd91#
这里已经回答了这个问题：为什么我需要在调用转换和sink操作以使aws glue bookmark工作时设置transformatioin\u ctx参数bookmark特性仅用于识别源（read函数）中的更改，而不用于转换或目标（write）中的更改。因此，转换上下文目前仅对read函数有意义（并且仅来自s3）
1条答案
按热度按时间nkkqxpd91#
这里已经回答了这个问题：为什么我需要在调用转换和sink操作以使aws glue bookmark工作时设置transformatioin\u ctx参数
bookmark特性仅用于识别源（read函数）中的更改，而不用于转换或目标（write）中的更改。因此，转换上下文目前仅对read函数有意义（并且仅来自s3）