我要抓取的网页只有在登录后才能看到，所以直接使用url是行不通的。我需要在使用chrome浏览器登录时抓取数据。然后我需要从
我试过使用下面的代码。
import requests
from selenium import webdriver
from bs4 import BeautifulSoup as bs
import pandas as pd
from webdriver_manager.chrome import ChromeDriverManager
driver = webdriver.Chrome(ChromeDriverManager().install())
lastdatadate=[]
lastprocesseddate=[]
source = requests.get('webpage.com').text
content = driver.page_source
soup = bs(content, 'lxml')
#print(soup.prettify())
price = soup.find('span', attrs={'id':'calculatedMinRate'})
print(price.text)
1条答案
按热度按时间68bkxrlz1#
您仍然可以在打开的webdriver上执行登录并填写输入字段，如下所述：How to locate and insert a value in a text box (input) using Python Selenium?
1.填写输入字段
1.找到提交按钮并触发单击事件
1.然后添加一个sleep命令，几秒钟就足够了
1.之后，您应该能够获得数据。