scrapy 如何用scrappy从ng-herf中提取文本

uurity8g  于 2022-11-09  发布在  其他
关注(0)|答案(2)|浏览(128)

有一个真实的的国家网站与无限滚动下来,我已经试图提取公司的名称和其他细节,但我有一个问题,写选择器需要一些见解,为一个新的学习者在scrappy。
HTML程式码片段:

ltskdhd1

ltskdhd11#

处理后,如果 “更多” 按钮在网站中可用。
因此,选择器出现在大多数浏览器中,您可以像这样复制选择器

根据您使用的函数复制“xpath”或其他用于报废过程的内容,
如果这是没有帮助,请给予网页链接,并选择什么值,你想报废。

drnojrws

drnojrws2#

据我所知,你想从标签中获得href,但你不知道如何在Scrapy中实现它。你只需要将**::attr(ng-href)**this添加到CSS选择器的最后一个。

link = response.css('your_selector::attr(ng-href)').get()

为了方便起见,CSS选择器应该

link = response.css('.companyNameSpecs a::attr(ng-href)').get()

但看起来href和ng-href是一样的,您也可以对它执行相同的操作

link = response.css('your_selector::attr(href)').get()

相关问题