在Python中使用爬行框架Scrapy时,我只想检查几千个域的HTML响应代码,而不想做其他任何事情来快速有效地初始爬行状态代码。我怎样才能只做HEAD请求而不是默认的GET请求?
0aydgbwb1#
可以使用Request中的方法选项
Request
def start_requests(self): yield scrapy.Request( url, method="HEAD" )
1条答案
按热度按时间0aydgbwb1#
可以使用
Request
中的方法选项