将Scrapy数据添加到不带标题行的csv

3b6akqbq 于 2022-11-09 发布在其他

关注(0)|答案(1)|浏览(133)

我们有一个本地网站，跟踪使用某个许可证的人数。我创建了一个刮刀，应该每小时运行一次。我唯一的问题是创建这样的数据。

active_users,date,time
35,22/03/2022,11:38:30.397745
active_users,date,time
36,22/03/2022,11:44:04.753589

我发现问题是每次运行scrapy crawl users时都会添加头文件。我知道Scrapy有可以删除头文件的CsvItemExporter()，但我不太清楚如何使用它。
我只需要输出csv看起来像

active_users,date,time
35,22/03/2022,11:38:30.397745
36,22/03/2022,11:44:04.753589

1条答案

如果您使用的是Scrapy 2.4及以上版本，您可以在定义FEED时直接更改此设置，如下所示。

custom_settings = {"FEEDS": { "items.csv": {"format": "csv", "item_export_kwargs": {"include_headers_line": False}}}}

这将附加到文件的内容，而不是每次都添加新的头。