在Scrapy中发生数据丢失时重试

ttp71kqs  于 2022-11-09  发布在  其他
关注(0)|答案(1)|浏览(432)

我正在使用scrapy的网页抓取,但得到数据丢失警告的几个请求,每次我运行相同的蜘蛛,它给我这些数据丢失错误的不同网址,所以我相信,它只是需要重试这些请求,有人知道,我怎么能做到这一点?我得到以下警告几次:

[scrapy.core.downloader.handlers.http11] WARNING: Got data loss in <failed link>  If you want to process broken responses set the setting DOWNLOAD_FAIL_ON_DATALOSS = False -- This message won't be shown in further requests
mbjcgjjk

mbjcgjjk1#

正如错误消息所说,您将需要配置Scrapy来处理失败的下载。配置Scrapy的参考是一个很好的资源,可以根据您决定如何运行或配置您的程序来这样做。
https://docs.scrapy.org/en/latest/topics/settings.html
只要服务器没有配置错误,并且这些都是临时问题,您就可以将RETRY_ENABLED标志设置为True,将DOWNLOAD_FAIL_ON_DATALOSS标志设置为False,以便重试失败的擦除。

相关问题