我有一个包含约100，000个元素的JSON，我想将其插入到dynamodb表中。由于这只需要做一次，一个简单的手动过程就足够了。不幸的是，在dynamodb页面上，据我所知，只有添加单个元素的可能性。另一种可能性是使用循环迭代json，并将每个元素单独写入数据库。由于这将需要10万次写入，我现在正在寻找一种替代方案。如何快速有效地解决这个问题？
aiazj4mn1#
如果写得慢，100 k写可能需要几分钟。您可以使用DynamoDB Import from S3功能，但是，您的数据需要采用DDB-JSON格式，这意味着您必须运行一个将JSON转换为DDB-JSON的过程。然后，您需要在导入之前将文件上传到S3。我的建议是使用任何你熟悉的计算，EC2，Lambda或本地机器，并使用循环编写项目。您可以使用BatchWriteItems来加速它，其中您可以在批处理中写入25个项目。或者，如果你使用Python，你可以使用Boto 3的batch_writer，你可以把JSON数组中的所有项传递给它，它会代表你执行BatchWriteItems，包括处理重试。
1条答案
按热度按时间aiazj4mn1#
如果写得慢，100 k写可能需要几分钟。您可以使用DynamoDB Import from S3功能，但是，您的数据需要采用DDB-JSON格式，这意味着您必须运行一个将JSON转换为DDB-JSON的过程。然后，您需要在导入之前将文件上传到S3。
我的建议是使用任何你熟悉的计算，EC2，Lambda或本地机器，并使用循环编写项目。您可以使用BatchWriteItems来加速它，其中您可以在批处理中写入25个项目。
或者，如果你使用Python，你可以使用Boto 3的batch_writer，你可以把JSON数组中的所有项传递给它，它会代表你执行BatchWriteItems，包括处理重试。