如何将自定义设置参数传递给scrapyd

tnkciper 于 2022-11-09 发布在其他

关注(0)|答案(1)|浏览(197)

我正在尝试运行几个蜘蛛在一个基于克隆的任务。
我想使用scrapyd参数来使用不同设置的同一个spider。
我想做的是：
我试着在我的scrapyd时间表curl中设置RETRY_HTTP_CODES = [500, 503, 504, 400, 403, 404, 408]和一个spidermon自定义监视器SPIDERMON_SPIDER_CLOSE_MONITORS = ('crawler.monitors.SpiderCloseMonitorSuite',)。
不知何故，它不需要我的自定义设置tho.
我玩了玩逃跑之类的bash，最后还是不行，我在想，这也不可能吧？
curl http://localhost:6800/schedule.json -d project=M0 -d spider=m_pp -d setting=LOG_LEVEL='DEBUG' -d setting=RETRY_HTTP_CODES=[500,503,504,400,403,408,] -d setting=SPIDERMON_SPIDER_CLOSE_MONITORS="('crawler.monitors.SpiderCloseMonitorSuite',)" -d _version="r857-M360-416-disable-c"
欢迎提供任何帮助或解决方案。

scrapy

来源：https://stackoverflow.com/questions/71155544/how-to-pass-custom-settings-arguments-to-scrapyd

1条答案

按热度按时间

7kqas0il1#

此方法要求python ≥ 3.8

我使用的方法是：

class MyCrawlerSpider(CrawlSpider):
    name = "my_crawler"

    ##################################################################
    # INIT
    ##################################################################

    def __init__(self, *args,**kwargs):
        self.test = kwargs.get("test")

        super(MyCrawlerSpider, self).__init__(*args,**kwargs)

然后我跑：
curl http://localhost:6800/schedule.json -d test=True -d project=mycrawler -d spider=my_crawler

赞(0）回复(0）举报 2022-11-09

我来回答

如何将自定义设置参数传递给scrapyd

1条答案

相关问题

热门标签

最新问答