我有一个Scrapy spider来抓取3,000个URL的列表。无论我抓取它们的速度是否缓慢（每秒0.8个站点）或稍快（每秒1. 5个站点），蜘蛛总是在刮取大约727个页面后开始失败，返回错误429。有趣的是，我已经打乱了URL，在我重新运行它的10次中，对于其中的3个项目，它恰好刮取了727个项目，其余时间大约为690-730，然后开始返回429个错误。我使用头，随机代理和随机用户代理为每个请求。有人经历过这样的事情吗？
xuo3flqw1#
您没有提供代码，但从您在问题中所陈述的内容来看，您正在使用fingerprint.js等现代指纹库进行指纹识别，或者您忘记清除Cookie（刷新会话）。
1条答案
按热度按时间xuo3flqw1#
您没有提供代码，但从您在问题中所陈述的内容来看，您正在使用fingerprint.js等现代指纹库进行指纹识别，或者您忘记清除Cookie（刷新会话）。