为什么我在PyCharm中进行网页抓取时总是得到“无”的响应?

iswrvxsc  于 2023-06-06  发布在  PyCharm
关注(0)|答案(1)|浏览(184)

我正在通过thenewboston python教程的网络爬虫和im tryong tp按照他的步骤,但还没有能够得到我想要的。我想得到所有的报价从这个网站https://quotes.toscrape.com/page/1/,但它不断返回“无”

`import requests
from bs4 import BeautifulSoup

def trade_spider(max_pages):
    page = 1
    while page <= max_pages:
        url = 'http://quotes.toscrape.com/page/' + str(page)
        source_code = requests.get(url)
        plain_text = source_code.text
        soup = BeautifulSoup(plain_text, "html.parser")
        for link in soup.findAll('div', {'class': 'quote'}):
            href = link.get('quote')
            print(href)
        page += 1

trade_spider(1)`

我尝试了很多东西,但真的找不到一个YouTube教程。

xqnpmsa8

xqnpmsa81#

你的窃听器和线在一起

href = link.get('quote')

link的类型为Tag。您将在其上调用get方法,根据文档,该方法将返回相应属性的值。但是,当您打印link变量时,您可以看到它是一个div,并且没有quote属性。相反,您可以访问它的span子标记来提取引号:

span = link.find('span', {'class': 'text'})
quote = span.text
print(quote)

相关问题