每个网站都是不同的，需要区别对待，通常旅程是从页面的元素面板开始的。

仔细查看一下你分享的url的元素面板，我们可以看到每张卡片都在一个div中，div还有一个脚本标签，里面有一个json，json确实有你要找的URL。
下面是提取URL的代码，您可以在page.evaluate function中运行这些URL。

await page.evaluate(async () => {
  const urls = [];

  // parent card elements
  var cardElements = [...document.querySelectorAll('[class="mb-srp__list"]')];
  for(let cardElement of cardElements) {
    // get nested script tag inside each card element that contains the url
    const script = cardElement.querySelector('script'); 

    // but the content of the tag is a string, so we need to parse
    const cardJSON = JSON.parse(script.innerHTML); 

    // finally save whatever data we want
    urls.push(cardJSON.url);
  }
  return urls;
});

下面是可以进入page.evaluate的代码的较短版本，

[...document.querySelectorAll('[class="mb-srp__list"]')].map(card=>JSON.parse(card.querySelector('script').innerHTML).url)