这个问题在这里已经有答案：
Speeding (Bulk) Insert into MySQL with Python(7个答案)
昨天关门了。
我有一个数据管道，它可以解析、清理和创建一个几千行的数据文件。我需要将此数据移动到MySQL中的不同表中。每小时都有新数据进来，我的管道会生成一个新的数据文件。目前，我正在逐行插入/更新MySQL表，迭代数据文件。
我想问，有没有更有效的方法在MySQL中插入这些数据？
这个问题在这里已经有答案：
Speeding (Bulk) Insert into MySQL with Python(7个答案)
昨天关门了。
我有一个数据管道，它可以解析、清理和创建一个几千行的数据文件。我需要将此数据移动到MySQL中的不同表中。每小时都有新数据进来，我的管道会生成一个新的数据文件。目前，我正在逐行插入/更新MySQL表，迭代数据文件。
我想问，有没有更有效的方法在MySQL中插入这些数据？
1条答案
按热度按时间efzxgjgh1#
我建议采取以下方法之一
1.在解析时，不要在表中插入表中的数据，而是创建一个批量查询，该查询将触发数据批并每X行执行一次(取决于您的管道大小)
插入表(id，x)值(id1，x1)，(id2，x2)...
1.将数据转储到CSV中，并使用LOAD DATA INFILE QUERY导入生成的CSV文件