scrapy 如何使用css选择器导航到站点的下一页

laik7k3q 于 2022-11-09 发布在其他

关注(0)|答案(1)|浏览(188)

我正在从一个网站(Find Properties For Sale)中提取房产信息。我已经能够抓取第一页的数据。但是当我试图抓取下一页的数据时，我的代码复制了第一页的数据。我该如何纠正这个问题？下面是我的方法：

next_page = response.css("ul.pagination li.page-item a.page-link::attr(href)").get()
   if next_page is not None:
      next_page = response.urljoin(next_page)
      yield scrapy.Request(next_page, callback = self.parse)

scrapy

来源：https://stackoverflow.com/questions/74288883/how-to-navigate-to-the-next-page-of-a-site-using-css-selectors

1条答案

按热度按时间

wz8daaqr1#

您可以使用以下xpath表达式：

next_page = response.xpath("//a[@alt='view next property page']").css("::attr(href)").get()

赞(0）回复(0）举报 2022-11-09

我来回答

scrapy 如何使用css选择器导航到站点的下一页

1条答案

相关问题

热门标签

最新问答