所以我想刮谷歌,我已经成功地刮craigslist使用这种方法,但我不能缝刮谷歌的一些原因(是的,当然我改变了类和东西。。)这是我想刮:
我想刮网站描述:
from selenium import webdriver
path = r"C:\Users\Skid\Desktop\chromedriver.exe"
driver = webdriver.Chrome(path)
driver.get("https://www.google.com/#q=python+webscape+google")
posts = driver.find_elements_by_class_name("r")
for post in posts:
print(post.text)
2条答案
按热度按时间nafvub8i1#
解决了,在抓取前添加一个计时器(导入时间,time.sleep(2))。
b5lpy0ml2#
你可以刮谷歌搜索描述网站使用
BeautifulSoup
网页抓取库。更多关于CSS选择器是什么,以及使用CSS选择器的缺点。
在联机IDE中检查代码。
输出示例