为什么用户被注销,而在刮取中间?我不能分享我的代码,我只是想知道为什么会发生这种行为-
如有任何建议,我们将不胜感激。
qxsslcnc1#
如果您登录,是的,您需要处理cookies,有关cookies的更多信息,请查看this answer。这也可能是因为您的会话在站点上已过期,因此当您遇到此问题时,需要重新登录站点。对于标头,您需要检查网络并查看请求需要哪些标头。
3phpmpom2#
我同意这是由于会话的到期,经过大量的研究,我正在使用的代理服务是不维护会话,而刮网站。当查看所有代理服务提供程序时,提供一个在使用代理时维护会话的规定,通过使用此规定可以避免在抓取时从站点注销。
2条答案
按热度按时间qxsslcnc1#
如果您登录,是的,您需要处理cookies,有关cookies的更多信息,请查看this answer。
这也可能是因为您的会话在站点上已过期,因此当您遇到此问题时,需要重新登录站点。
对于标头,您需要检查网络并查看请求需要哪些标头。
3phpmpom2#
我同意这是由于会话的到期,经过大量的研究,我正在使用的代理服务是不维护会话,而刮网站。
当查看所有代理服务提供程序时,提供一个在使用代理时维护会话的规定,通过使用此规定可以避免在抓取时从站点注销。