com.amazonaws.services.gluejobexecutor.model.internalserviceeexception:要更新的项大小已超过允许的最大大小

ezykj2lf  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(595)

我使用aws glue作为etl工作来转换来自s3的数据,并使用书签将数据写入另一个s3存储桶。
我收到一个计划作业的意外异常,该作业在前一天运行时没有任何问题:

Traceback (most recent call last):
  File "my_script.py", line 123, in <module>
job.commit()

[...]

py4j.protocol.Py4JJavaError: An error occurred while calling z:com.amazonaws.services.glue.util.Job.commit.
: com.amazonaws.services.gluejobexecutor.model.InternalServiceException: Item size to update has exceeded the maximum allowed size 
(Service: AmazonDynamoDBv2; Status Code: 400; Error Code: ValidationException; Request ID: /) 
(Service: AWSGlueJobExecutor; Status Code: 500; Error Code: InternalServiceException; Request ID: /)

我在错误消息中看到提到了dynamodb,但我根本没有使用这个服务(所以我怀疑它是在glue中内部使用的)。
是什么导致了这个异常?

zazmityj

zazmityj1#

我从glue控制台重置了job bookmark,问题就解决了,成功地执行了作业

相关问题