我正在使用scrapy来抓取需要登录的站点,但我不确定为了保持会话,哪些字段需要保存和加载。
对于 selenium ,我采取了以下措施来保存饼干:
import pickle
import selenium.webdriver
driver = selenium.webdriver.Firefox()
driver.get("http://www.google.com")
pickle.dump( driver.get_cookies() , open("cookies.pkl","wb"))
还有这个给他们装:
导入泡菜导入 selenium .webdriver
driver = selenium.webdriver.Firefox()
driver.get("http://www.google.com")
cookies = pickle.load(open("cookies.pkl", "rb"))
for cookie in cookies:
driver.add_cookie(cookie)
它工作得很好,有没有可能用Scrapy
1条答案
按热度按时间ergxz8rk1#
使用cookie发送请求:
从响应中获取Cookie: