我正在使用scrapy的网页抓取,但得到数据丢失警告的几个请求,每次我运行相同的蜘蛛,它给我这些数据丢失错误的不同网址,所以我相信,它只是需要重试这些请求,有人知道,我怎么能做到这一点?我得到以下警告几次:
[scrapy.core.downloader.handlers.http11] WARNING: Got data loss in <failed link> If you want to process broken responses set the setting DOWNLOAD_FAIL_ON_DATALOSS = False -- This message won't be shown in further requests
1条答案
按热度按时间mbjcgjjk1#
正如错误消息所说,您将需要配置Scrapy来处理失败的下载。配置Scrapy的参考是一个很好的资源,可以根据您决定如何运行或配置您的程序来这样做。
https://docs.scrapy.org/en/latest/topics/settings.html
只要服务器没有配置错误,并且这些都是临时问题,您就可以将
RETRY_ENABLED
标志设置为True
,将DOWNLOAD_FAIL_ON_DATALOSS
标志设置为False,以便重试失败的擦除。