import scrapy
class AotmSpider(scrapy.Spider):
name = 'aotm'
def start_requests(self):
for i in range(1,500):
url = f'https://aotm.in.bonhill.pbc.io/api/getAllAdvisorsListings/{i}'
yield scrapy.Request(url)
def parse(self, response):
yield {"data":response.json()}
1条答案
按热度按时间sc4hvdpw1#
所有的页面都没有链接,因为页面按钮所做的就是将页面上的所有信息替换为从 AJAX 调用API端点所接收到的信息。你可以在devtools的network标签中找到端点,当你点击其中一个按钮时,它会生成一个请求,你可以在feed中看到该请求,并从中获取URL。
使用API端点:
例如:
单页输出:
更新
如果您希望提取所有页面,则可以从数据字典中的“TotalAdvisors”字段计算页面总数