(How)我可以存档吗?2 Scrapy只下载网站标题数据(用于检查等)我试过禁用一些下载中间件,但似乎不起作用。
yhqotfr81#
就像@alexce说的,你可以发出HEAD请求来代替默认的GET:
Request(url, method="HEAD")
UPDATE:如果你想对你的start_urls使用HEAD请求,你需要覆盖make_requests_from_url方法:
start_urls
def make_requests_from_url(self, url): return Request(url, method='HEAD', dont_filter=True)
更新:Scrapy 2.6中删除了make_requests_from_url。
make_requests_from_url
1条答案
按热度按时间yhqotfr81#
就像@alexce说的,你可以发出HEAD请求来代替默认的GET:
UPDATE:如果你想对你的
start_urls
使用HEAD请求,你需要覆盖make_requests_from_url方法:更新:Scrapy 2.6中删除了
make_requests_from_url
。