我正在尝试使用Scrapy返回SofaScore中现场比赛的结果和统计数据。
站点:https://www.sofascore.com/
下面的代码:
import scrapy
class SofascoreSpider(scrapy.Spider):
name = 'SofaScore'
allowed_domains = ['sofascore.com']
start_urls = ['http://sofascore.com/']
def parse(self, response):
time1 =
response.xpath("/html/body/div[1]/main/div/div[2]/div/div[3]/div[2]/div/div/div/div/div[2]/a/div/div").extract()
print(time1)
pass
我也试着用response.xpath("//html/body/div[1]/main/div/div[2]/div/div[3]/div[2]/div/div/div/div/div[2]/a/div/div").getall()
,但是它什么也没返回。我用了很多不同的xpath,但是它都没有返回。我做错了什么?
比如,今天10/06页面上的第一场比赛是法国对奥地利,xpath:/html/正文/div[1]/主要/div/div[2]/div/div[3]/div[2]/div/div/div/div/div[2]/a/div/div
1条答案
按热度按时间z31licg01#
数据是用JavaScript生成的,但也可以从API获取。
在浏览器中打开devtools,点击
network
标签,然后点击live
按钮,查看它加载数据的位置,然后查看JSON文件,查看其结构。