编辑:得到了答案。自动节流阀被限制为默认值。现在我需要限制它的网站页面数。代码看起来像CONCURRENT_REQUESTS = 3我正在使用scrapy剧作家。我想循环通过一些网站。scrapy蜘蛛将请求提取数据通过每个网站链接。渲染通过每个请求后,我需要关闭标签吗?像这样使用:
CONCURRENT_REQUESTS = 3
def parse(self, response): page = response.meta["playwright_page"] await page.close()
vom3gejh1#
编辑:得到了答案。自动节流阀被限制为默认值。现在我需要限制它的网站页面数。代码看起来像CONCURRENT_REQUESTS = 3
1条答案
按热度按时间vom3gejh1#
编辑:得到了答案。自动节流阀被限制为默认值。现在我需要限制它的网站页面数。代码看起来像
CONCURRENT_REQUESTS = 3