我正在使用scrapy的网页抓取，但得到数据丢失警告的几个请求，每次我运行相同的蜘蛛，它给我这些数据丢失错误的不同网址，所以我相信，它只是需要重试这些请求，有人知道，我怎么能做到这一点？我得到以下警告几次：
[scrapy.core.downloader.handlers.http11] WARNING: Got data loss in <failed link> If you want to process broken responses set the setting DOWNLOAD_FAIL_ON_DATALOSS = False -- This message won't be shown in further requests
1条答案
按热度按时间mbjcgjjk1#
正如错误消息所说，您将需要配置Scrapy来处理失败的下载。配置Scrapy的参考是一个很好的资源，可以根据您决定如何运行或配置您的程序来这样做。
https://docs.scrapy.org/en/latest/topics/settings.html
只要服务器没有配置错误，并且这些都是临时问题，您就可以将
RETRY_ENABLED标志设置为True，将DOWNLOAD_FAIL_ON_DATALOSS标志设置为False，以便重试失败的擦除。