scrapy 如何在类之前抓取包含此_ngcontent的div？

velaa5lx 于 2022-11-09 发布在其他

关注(0)|答案(2)|浏览(123)

假设div包含产品的名称：

<div _ngcontent-serverapp-c225 class="shelfProductTile-content">

在Scrappy中使用response.css('div.shelfProductTile-content')返回一个空列表，如何克服这个问题？
Edit:有人声称Javascript网页内容如AngularJs和react不能被Scrapy获取，建议使用Splash或Selenium等工具。这是真的，但这不是我的例子的情况，我尝试了这两个工具，但没有解决问题。问题是与用户代理，应该改变。请检查下面接受的答案。感谢所有帮助。

scrapy

来源：https://stackoverflow.com/questions/71687351/scrapy-how-do-you-scrape-a-div-that-contains-this-ngcontent-before-the-class

2条答案

按热度按时间

laawzig21#

以下代码应与您的元素匹配：

response.xpath("//div[@class='shelfProductTile-content']")

赞(0）回复(0）举报 2022-11-09

vmjh9lq92#

我更改了设置文件中的用户代理，它解决了该问题：

USER_AGENT = 'Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)'

赞(0）回复(0）举报 2022-11-09

我来回答

scrapy 如何在类之前抓取包含此_ngcontent的div？

2条答案

相关问题

热门标签

最新问答