首先,我完全知道Stack Overflow本身可能不是问这个问题的理想子论坛,但我问了我的教授,他告诉我去问Bing AI,Bing AI告诉我在这里问这个问题,所以如果有其他特定的子论坛会更好,请在评论或回答中告诉我。
我在乔治梅森大学的数据分析工程硕士项目的一个grad生团队中工作,我们被要求使用为我们提供的团队Amazon Web Services帐户,并且在使用AWS的RDS服务设置数据库示例时,我经历了非常慢的执行速度。当我说非常时,我的意思是表数据导入向导导入/加载一个639 KB的csv文件需要几个小时!
我已经在我的笔记本电脑上使用本地版本的MySQL Server和Workbench编写了我们需要的两个SQL脚本,以测试一切正常,现在我需要的是在我笔记本电脑上的MySQL Workbench应用程序与一个以合理速度执行的RDS数据库示例之间建立连接。我创建的第一个示例是一个公共可访问的单个RDS数据库示例,运行在MySQL Community引擎Size/Class db上。t3.micro(最初)。在将其连接到Workbench后,我发现使用Table Data Import Wizard导入/加载我们的3个源数据集时所涉及的延迟:Airports.csv、Airport_Schedules.csv和Runway.csv(所有三个沿着两个MySQL脚本文件都可以在我们团队的GitHub Repository中找到)非常高。因此,我通过将其类从db.t3.micro(只有1GB的RAM)升级到db.t3.medium(有4GB的RAM)来提高其处理能力。但是这并没有改善运行时。我还上传了所有的日志,当试图使用这个连接在我们的GitHub在一个名为'aws-mysql-rds-db-error-running. logs'的Zip文件。
从那里开始,我继续类似于我在第一次尝试解决方案时通过逐步尝试不同的可能解决方案来增加RAM,但一次只尝试每一个,这非常重要,所以我绝对确保在尝试另一个之前只测试每个新更改。我的下一个更改是创建一个新的RDS db示例,但这一次,而不是仅仅是一个单一的DB示例,我将其创建为多AZ DB集群不幸的是,一旦我将它连接到MySQL Workbench,它就和另一个db示例一样慢,所以从那里,我将这个集群中所有3个示例的大小增加到db.m5d.xlarge。(16 GB RAM),但仍然存在巨大的延迟。
在这一点上,我启动了我的备份笔记本电脑,安装了MySQL服务器,工作台,以及开发人员安装选项附带的其他东西,然后在笔记本电脑上用我的新本地MySQL工作台应用程序建立了与这两个RDS MySQL DB示例的连接,执行在笔记本电脑上仍然一样慢!!我在这里没有主意了,请提供任何建议,至于谁问,如果你不知道答案自己,我已经问了聊天GPT和冰聊天AI升级的聊天GPT以及,但没有一个建议工作。
我应该尝试在RDS上创建一个Aurora MySQL数据库示例,并尝试在它和我的本地MySQL Workbench应用程序之间建立连接吗?
1条答案
按热度按时间r3i60tvu1#
是的,MySQL Workbench在导入CSV数据方面非常糟糕。这是多年来的一个痛点。MySQL(Oracle Corp)已经记录了错误,但没有任何变化。
忘记使用MySQL Workbench进行批量数据导入吧。它不起作用。我不使用MySQL Workbench,我也不认识任何专业的MySQL开发人员或DBA使用它。
它不仅比应有的速度慢了几个数量级,而且用户报告说它无法导入输入CSV文件中的所有行。实际上,MySQL Workbench没有可行的导入功能。
相反,您可以使用命令行工具mysqlimport或等效的SQL语句LOAD DATA LOCAL INFILE。这些工具成熟、高效且速度更快。
你可能也喜欢我的Load Data Fast! for MySQL演示文稿。