scrapy 获取加载“更多”按钮下一页?

p8ekf7hl  于 2023-06-23  发布在  其他
关注(0)|答案(1)|浏览(168)

我正在尝试单击“更多”按钮以获取下一组页面。
下一页链接Htmltags:

<span id="direct_moreLessLinks_listingDiv" class="more_less_links_container" data-num-items="15" offset="45" data-type="listing">
<a id="button_moreJobs" rel="nofollow" href="#">More</a>
</span>

**注意:**点击“更多”按钮时。它正在加载同一页中的下一页。

我正在尝试使用selenium点击下一页:
代码部分:

self.driver.get('example.com')
        while True:
            more_btn = WebDriverWait(self.driver, 10).until(
                EC.visibility_of_element_located((By.ID, "More"))
            )

            More.click()

            # stop when we reach the desired page
biswetbf

biswetbf1#

按ID**找到链接,点击:

more_btn = WebDriverWait(self.driver, 10).until(
               EC.visibility_of_element_located((By.ID, "button_moreJobs"))
           )
more_btn.click()

因为这是一个while True循环,所以需要找到一种方法来停止分页并中断循环。这是我只能做猜测,因为你还没有提供一个实际的网页,你正在工作。

相关问题