NodeJS Puppeteer不返回来自特定网站的所有请求

ee7vknir  于 2022-12-22  发布在  Node.js
关注(0)|答案(2)|浏览(137)

我有下面的代码,从一个特定的网站提取所有请求(获取所有图像,CSS,脚本,字体...)

var totalRequests = 0;

    puppeteer.launch().then(async browser => {
        const page = await browser.newPage();
        await page.setRequestInterception(true);
        page.on('request', interceptedRequest => {
            interceptedRequest.continue();
        });
        page.on('response', response => {
            totalRequests = totalRequests + 1;
            console.log('Url: ' + response.url());
        });
        await page.goto('https://stackoverflow.com');
        await browser.close().then(() => {
            res.send('Requests: ' + totalRequests);
        });

很好,在控制台中我可以看到所有来自stackoverflow.com的URL(CSS文件,图像文件,字体文件和Javascript文件)和被请求的文件总数(在本例中我看到31个请求),但由于某种原因,我最终注意到此代码没有返回所有页面请求。
如果我们转到Google Chrome,按F12,转到网络部分并重新加载页面(假设您在url**https://stackoverflow.com**上),我们将看到总共39-40个请求文件。
问题是我的代码只返回了30到31个请求,并且在控制台中我看不到Chrome浏览器上显示的所有链接。这可能是怎么回事?我该怎么做才能像Google Chrome浏览器中显示的那样返回所有请求?

hsgswve4

hsgswve41#

主要问题

对于stackoverflow.com,加载的资源数量取决于浏览器窗口的大小。如果您的 windows 允许,stackoverflow将向您显示广告(在右侧边栏上)。但是相应的资源(JavaScript、图像、等)只有在视口足够宽时才会加载。你可以自己尝试一下,缩小窗口直到隐藏右边栏,然后重新加载页面。DevTools会显示不同数量的已加载资源。

示例代码

下面的例子展示了如何通过设置defaultViewport属性来模拟一个更大的浏览器窗口。注意,我在这个例子中完全使用了 async/await 语法,并且我删除了page.setRequestInterception调用,因为没有它response事件也会被触发(只有当你真的想修改请求或响应时才需要使用它)。

const puppeteer = require('puppeteer');

(async () => {
    const browser = await puppeteer.launch({ // headless: false, devtools: true,
        defaultViewport: { width: 1600, height: 800 }
    });
    const page = await browser.newPage();

    var totalRequests = 0;
    page.on('response', () => {
        totalRequests = totalRequests + 1;
    });

    await page.goto('https://stackoverflow.com');
    console.log(totalRequests);

    await browser.close();
})();

这将为我返回30,这仍然不是我们期望的数字(~40)。

等待加载所有资源

你的代码还有一个问题。让我们打开DevTools看看发生了什么。如果你在你的网络选项卡中查看瀑布图,它看起来像这样:

看到红线了吗?这是load事件。默认情况下,page.goto会等待此事件。但在我们的示例中,实际上在事件触发后会加载一些文件(红线右边的文件)。也要等待这些资源加载,我们可以使用page.goto函数中的一个选项。使用waitUntil: 'networkidle0',脚本将一直等待,直到不再有网络活动。
因此,如果您使用此行从顶部切换出page.goto行,您应该看到预期的请求数:

await page.goto('https://stackoverflow.com', { waitUntil: 'networkidle0' });

当使用这个设置时,上面的代码为我返回了39,这正是您所期望的。

vjhs03f7

vjhs03f72#

除了viewport问题,我建议重新加载页面。我的用例是获取所有Google分析请求,但它并不总是在第一次访问时返回。

await page.reload({ waitUntil: 'networkidle2' })

相关问题