我正在尝试使用selenium获取此页面上的数据：
https://www.justdial.com/Mumbai/General-Physician-Doctors/nct-10892680
我在Python中使用BeautifulSoup和Selenium来实现这一点。但是我只能获取10条记录。只有当你向下滚动并等待多次时，才会加载其余的记录。如何在Python中模拟这一点或其他获取数据的方法？
或者，我检查了网络选项卡，发现当加载新数据时，会向https://www.justdial.com/api/resultsPageListing?searchReferer=gen发出POST请求，但这并没有说明什么。通常，应该有一个页码来标识将要加载的数据集。
2条答案
按热度按时间cclgggtu1#
最简单的方法是重复调用同一个端点
出于某种原因，每次调用端点时，它们似乎都向您显示随机选择的记录。
这可能意味着您可以继续调用它，并累积所有结果，同时进行重复数据删除。
3zwjbxry2#
有一个请求负载，URL为https://www.justdial.com/api/resultsPageListing?searchReferer=gen，带有字段“pg_no”，表示页码。您可以使用“payload”选项卡以相同的方式检查。您必须将其作为JSON数据与请求沿着发送。