请查看本文：https://docs.aws.amazon.com/glue/latest/dg/monitor-continuations.html
它说可以为json格式的文件启用作业书签。
我们的格式是基于行的，如下所示：
[{"a":"a"}, {"b":"b"}]
[{"c":"c"}, {"d":"d"}]
...所以每一行都是一个有效的json，但整个文件不是。
有没有可能使用作业书签与aws胶水作业，有我们的格式？
请查看本文：https://docs.aws.amazon.com/glue/latest/dg/monitor-continuations.html
它说可以为json格式的文件启用作业书签。
我们的格式是基于行的，如下所示：
[{"a":"a"}, {"b":"b"}]
[{"c":"c"}, {"d":"d"}]
...所以每一行都是一个有效的json，但整个文件不是。
有没有可能使用作业书签与aws胶水作业，有我们的格式？
1条答案
按热度按时间11dmarpk1#
1） 问题的一部分，回复：s3中的文件，“对于AmazonS3输入源，aws glue job书签检查对象的上次修改时间，以验证哪些对象需要重新处理。如果您的输入源数据在上次运行作业后已被修改，则在再次运行作业时将重新处理这些文件。“