scrapy 剧作家未加载页面上的所有缩略图

s8vozzvw  于 2022-11-09  发布在  其他
关注(0)|答案(1)|浏览(159)

我正在使用python的剧作家。我有一个页面有多个缩略图(〉10),但每次剧作家是没有检测到超过8与css选择器。即使我手动检查,并有所有的选择器可用。示例页面:https://www.ah.nl/bonus/groep/-13928?week=37示例代码:

await page.wait_for_load_state()
        grid_count = await page.locator('article.product-card-portrait_root__ZiRpZ').count()
        products = page.locator('article.product-card-portrait_root__ZiRpZ')
        try:
            await expect(products.nth(grid_count)).to_be_visible()
        except:
            ipdb.set_trace()

每次页面的元素超过8个时,它就会进入except的ipdb中。我该如何解决这个问题?

iyfamqjs

iyfamqjs1#

它看起来像是某种延迟加载,最初,加载了8个元素,如果向下滚动,将加载更多的内容

相关问题