我需要使用Selenium使用Python进行Web抓取数据，因为我从中获取数据的网站动态创建内容。由于大量的数据（行）和具体的网站，我将需要让程序每天运行（也许一个月）。最终，所有数据将存储在CSV文件中。
我在考虑insert每次迭代的每一行数据到PostgreSQL，当我完成抓取时，将表复制到CSV文件。我的另一个选择是保持打开CSV文件，并在每次迭代中逐行执行append。
最有效的方法是什么？