我在Scrapy中有一个项目，有大约10个spider，我使用Scrapyd同时运行其中的几个。但是，我怀疑我的CONCURRENT_REQUESTS设置是否正确。
目前我的CONCURRENT_REQUESTS是32，但我看到他们建议这个值要高得多（〉= 100）。但我有一个问题，是所有运行的蜘蛛可以发出的并发请求的总数，还是单个蜘蛛可以发出的并发请求的数量？
我假设它是所有spider可以发出的并发请求的数量，这就是为什么他们建议它尽可能的高。我发现我可以使用CONCURRENT_REQUESTS_PER_DOMAIN来控制每个spider发出的请求的数量。