使用scrapy playwrigth时,我需要关闭标签吗?

swvgeqrz  于 2022-11-09  发布在  其他
关注(0)|答案(1)|浏览(200)

编辑:得到了答案。自动节流阀被限制为默认值。现在我需要限制它的网站页面数。代码看起来像CONCURRENT_REQUESTS = 3
我正在使用scrapy剧作家。我想循环通过一些网站。scrapy蜘蛛将请求提取数据通过每个网站链接。渲染通过每个请求后,我需要关闭标签吗?像这样使用:

def parse(self, response):
page = response.meta["playwright_page"]
await page.close()
vom3gejh

vom3gejh1#

编辑:得到了答案。自动节流阀被限制为默认值。现在我需要限制它的网站页面数。代码看起来像CONCURRENT_REQUESTS = 3

相关问题