有人能告诉我如何使用Scrapy从这个页面抓取数据(名称和号码)吗?数据是动态加载的。如果你检查网络选项卡,你会发现一个对https://www.icab.es/rest/icab-api/collegiates的POST请求。所以我把它复制为cURL并通过Postman发送请求。但是我得到错误。有人能帮助我吗?URL:https://www.icab.es/es/servicios-a-la-ciudadania/necesito-un-abogado/buscador-de-profesionales/?extraSearch=false&probono=false
1条答案
按热度按时间9jyewag01#
**这是一个非常好的问题!**但是,也许下次您会希望添加代码,并将其格式设置得更好一些。How to ask
解决方案:
您需要重新创建请求。我使用Burp Suite检查了请求。
我在
start_urls
中得到了url的头,以及json_url的头和主体。如果你试图从
start_request
获取json_url,你会得到401错误,所以我们首先转到start_urls
url,然后才请求json_url。完整代码:
输出: