python-3.x 为什么Beautiful Soup返回NONE而不是div数据？

4szc88ey 于 2023-10-21 发布在 Python

关注(0)|答案(1)|浏览(128)

response = requests.get(url="https://www.cbf.com.br/futebol-brasileiro/jogosdehoje/index")

soup = BeautifulSoup(response.text, 'html.parser')

data = soup.find('div', 'class="col-md-12"')

print(data)

当使用find_all时也是如此，当使用extract时，它只显示所有的html而不仅仅是div

python-3.x

来源：https://stackoverflow.com/questions/77255808/why-beautiful-soup-is-returning-none-instead-of-the-div-data

1条答案

按热度按时间

4dbbbstv1#

您需要为请求给予一个标题，如下所示：

import requests
from bs4 import BeautifulSoup as bs

pd.set_option('display.max_columns', None)
pd.set_option('display.max_colwidth', None)

headers = {
'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.5112.79 Safari/537.36'
}

r = requests.get(url="https://www.cbf.com.br/futebol-brasileiro/jogosdehoje/index", headers=headers)
soup = bs(r.text, 'html.parser')
data = soup.select_one('div[class="col-md-12"]')
print(data.get_text(strip=True, separator=' '))

终端结果：

Copa do Brasil de Futebol Sub-20 2023 Seg, 09/10/2023 17:30
            - GRUPO 30 |  Jogo: 44 CRU Cruzeiro Saf - MG 17:30 FLU Fluminense - RJ Arena do Jacaré - Sete Lagoas - MG Detalhes do jogo Campeonato Brasileiro de Futebol - Série B 2023 Seg, 09/10/2023 20:00
            -  Jogo: 306 SPO Sport - PE 20:00 PON Ponte Preta - SP Ilha do Retiro - Recife - PE Detalhes do jogo

请求的相关文档可以在here和BeautifulSoup中找到。

赞(0）回复(0）举报 2023-10-21

我来回答

python-3.x 为什么Beautiful Soup返回NONE而不是div数据？

1条答案

相关问题

热门标签

最新问答