我有下面的代码,从一个特定的网站提取所有请求(获取所有图像,CSS,脚本,字体...)
var totalRequests = 0;
puppeteer.launch().then(async browser => {
const page = await browser.newPage();
await page.setRequestInterception(true);
page.on('request', interceptedRequest => {
interceptedRequest.continue();
});
page.on('response', response => {
totalRequests = totalRequests + 1;
console.log('Url: ' + response.url());
});
await page.goto('https://stackoverflow.com');
await browser.close().then(() => {
res.send('Requests: ' + totalRequests);
});
很好,在控制台中我可以看到所有来自stackoverflow.com的URL(CSS文件,图像文件,字体文件和Javascript文件)和被请求的文件总数(在本例中我看到31个请求),但由于某种原因,我最终注意到此代码没有返回所有页面请求。
如果我们转到Google Chrome,按F12,转到网络部分并重新加载页面(假设您在url**https://stackoverflow.com**上),我们将看到总共39-40个请求文件。
问题是我的代码只返回了30到31个请求,并且在控制台中我看不到Chrome浏览器上显示的所有链接。这可能是怎么回事?我该怎么做才能像Google Chrome浏览器中显示的那样返回所有请求?
2条答案
按热度按时间hsgswve41#
主要问题
对于
stackoverflow.com
,加载的资源数量取决于浏览器窗口的大小。如果您的 windows 允许,stackoverflow将向您显示广告(在右侧边栏上)。但是相应的资源(JavaScript、图像、等)只有在视口足够宽时才会加载。你可以自己尝试一下,缩小窗口直到隐藏右边栏,然后重新加载页面。DevTools会显示不同数量的已加载资源。示例代码
下面的例子展示了如何通过设置
defaultViewport
属性来模拟一个更大的浏览器窗口。注意,我在这个例子中完全使用了 async/await 语法,并且我删除了page.setRequestInterception
调用,因为没有它response
事件也会被触发(只有当你真的想修改请求或响应时才需要使用它)。这将为我返回
30
,这仍然不是我们期望的数字(~40)。等待加载所有资源
你的代码还有一个问题。让我们打开DevTools看看发生了什么。如果你在你的网络选项卡中查看瀑布图,它看起来像这样:
看到红线了吗?这是load事件。默认情况下,
page.goto
会等待此事件。但在我们的示例中,实际上在事件触发后会加载一些文件(红线右边的文件)。也要等待这些资源加载,我们可以使用page.goto
函数中的一个选项。使用waitUntil: 'networkidle0'
,脚本将一直等待,直到不再有网络活动。因此,如果您使用此行从顶部切换出
page.goto
行,您应该看到预期的请求数:当使用这个设置时,上面的代码为我返回了
39
,这正是您所期望的。vjhs03f72#
除了viewport问题,我建议重新加载页面。我的用例是获取所有Google分析请求,但它并不总是在第一次访问时返回。