scrapy css locator返回空列表

zpgglvta 于 2023-10-20 发布在其他

关注(0)|答案(1)|浏览(97)

我正在做一个网页抓取过程中的campaamp：D
在会议本身，我们正在刮wikiamp网站，以获得课程名称和网址，然而，我试图达到同样的结果对pycharm在我的pc上，
不幸的是
我已经尝试了许多css定位器和相同的结果总是空列表
你能告诉我哪里出了问题吗
从scrapy import导入请求
网址= 'https：//www.courses-all' html =请求.获取（网址）.内容选择=搜索（文本= html）
courses_names = sel.css（'section.css-6b6e9e-Search>article.css-1t5b87c-HitCard>h2.css-172ju3k-Box：：text'）.extract（）
print（courses_names）

scrapy

来源：https://stackoverflow.com/questions/77259098/css-locator-returns-empty-list

1条答案

按热度按时间

ygya80vv1#

没有足够的信息，所以我将只解释你在做什么，从CSS选择器，我可以看到，你正在使用一个通用选择器

sel.css('section.css-6b6e9e-Search>article.css-1t5b87c-HitCard>h2.css-172ju3k-Box ::text').extract()

你不应该这样做，因为网站可能每次都会改变类名，
只是，检查选择器是否在该网站上从开发工具工作，并尝试打印结果

sel.css('section > article').get()

如果选择器正确，它应该打印HTML标记
希望你有一个良好的运气与网页抓取

赞(0）回复(0）举报 2023-10-20

我来回答

scrapy css locator返回空列表

1条答案

相关问题

热门标签

最新问答