使用爬网框架Scrapy时仅发出HEAD请求

jucafojl  于 2023-03-02  发布在  其他
关注(0)|答案(1)|浏览(181)

在Python中使用爬行框架Scrapy时,我只想检查几千个域的HTML响应代码,而不想做其他任何事情来快速有效地初始爬行状态代码。
我怎样才能只做HEAD请求而不是默认的GET请求?

0aydgbwb

0aydgbwb1#

可以使用Request中的方法选项

def start_requests(self):
    yield scrapy.Request(
        url,
        method="HEAD"
    )

相关问题