我尝试收集信息的网址是:
https://www.abf.com.br/a-abf/franquias-associadas-abf/
CSS对象示例:
- 这个是ok,Scrapy会传回对象:
.list-francises
个 - 这是一个not ok,Scrapy返回一个空列表:
.card-all-franchises div:nth-child(1)
我正在运行以下命令:
> scrapy shell 'https://www.abf.com.br/a-abf/franquias-associadas-abf/'
(在我的vscode终端中打开scrapy shell)> response.css('.list-francises').getall()
(返回对象列表)> response.css('.card-all-franchises div:nth-child(1)').getall()
(返回空列表)
我试着抓取至少三个其他网站,没有一个有这种类型的意外结果。
1条答案
按热度按时间lrl1mhuk1#
这是因为您试图抓取的内部清单是从 AJAX 调用注入到页面中的。
这是仅用于列表的URL:
使用这个url,你可以使用你原来的css表达式,它会工作得很好。
输出