Scrapy -抓取网站时发生用户会话超时并注销用户

p5fdfcr1  于 2022-11-09  发布在  其他
关注(0)|答案(2)|浏览(123)

为什么用户被注销,而在刮取中间?我不能分享我的代码,我只是想知道为什么会发生这种行为-

  • 是因为cookie吗?(我没有手动传递任何cookie,因为scrapy默认处理cookie)
  • 是不是请求中缺少某些头文件?(我没有为请求明确传递任何头文件)
  • 还是因为其他原因?
  • 如果是因为cookie,我怎么能通过他们为每个请求?
  • 如果是因为标头,那么每个请求需要传递的最重要的标头是什么?

如有任何建议,我们将不胜感激。

qxsslcnc

qxsslcnc1#

如果您登录,是的,您需要处理cookies,有关cookies的更多信息,请查看this answer
这也可能是因为您的会话在站点上已过期,因此当您遇到此问题时,需要重新登录站点。
对于标头,您需要检查网络并查看请求需要哪些标头。

3phpmpom

3phpmpom2#

我同意这是由于会话的到期,经过大量的研究,我正在使用的代理服务是不维护会话,而刮网站。
当查看所有代理服务提供程序时,提供一个在使用代理时维护会话的规定,通过使用此规定可以避免在抓取时从站点注销。

相关问题