scrapy Crawler设置、Spider设置、项目设置混淆

jfgube3f 于 2022-11-29 发布在其他

关注(0)|答案(1)|浏览(119)

我对爬虫设置、蜘蛛设置、settings.py和项目设置有困惑。我看到了关于scrapy的文档，但我还不明白它们的区别。例如，在函数中

process = CrawlerProcess(settings={
    "FEEDS": {
        "items.json": {"format": "json"},
    },
})

有什么区别，以及如何使用它们。抱歉我的英语不好。
我想知道它们之间的区别。如果你有例子并能演示，请把它们附在下面。最后，谢谢你！

1条答案

FEEDS设置是spider的输出设置。
如果你跑了

scrapy crawl spidername -o file.json

这大概相当于

process = CrawlerProcess(settings={"FEEDS": {"file.json": {"format": "json"}})

另一个例子是

scrapy crawl spidername -o file2.csv

大致与

process = CrawlerProcess(settings={"FEEDS": {"file2.csv": {"format": "csv"}})

因此，"FEEDS"设置的值是一个字典，键是输出位置，值是用于处理蜘蛛生成的每个项目的格式/处理程序。