javascript 如何使用node.js抓取包含动态内容的页面?

dxpyg8gm  于 2023-01-04  发布在  Java
关注(0)|答案(5)|浏览(143)

我尝试抓取一个website,但是我没有得到一些元素,因为这些元素是动态创建的。
我在node.js中使用了cheerio,我的代码如下。

var request = require('request');
var cheerio = require('cheerio');
var url = "http://www.bdtong.co.kr/index.php?c_category=C02";

request(url, function (err, res, html) {
    var $ = cheerio.load(html);
    $('.listMain > li').each(function () {
        console.log($(this).find('a').attr('href'));
    });
});

这段代码返回空响应,因为在加载页面时,<ul id="store_list" class="listMain">为空。
内容尚未追加。
如何使用node.js获得这些元素?如何抓取包含动态内容的页面?

ahy6op9u

ahy6op9u1#

给你

var phantom = require('phantom');

phantom.create(function (ph) {
  ph.createPage(function (page) {
    var url = "http://www.bdtong.co.kr/index.php?c_category=C02";
    page.open(url, function() {
      page.includeJs("http://ajax.googleapis.com/ajax/libs/jquery/1.6.1/jquery.min.js", function() {
        page.evaluate(function() {
          $('.listMain > li').each(function () {
            console.log($(this).find('a').attr('href'));
          });
        }, function(){
          ph.exit()
        });
      });
    });
  });
});
nnsrf1az

nnsrf1az2#

checkout GoogleChrome/puppeteer
无头Chrome节点API
下面的例子将在npmjs.com处抓取标题(假设.npm-expansions仍然存在)

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();

  await page.goto('https://www.npmjs.com/');

  const textContent = await page.evaluate(() => {
    return document.querySelector('.npm-expansions').textContent
  });

  console.log(textContent); /* No Problem Mate */

  browser.close();
})();

evaluate将允许检查动态元素,因为这将在页面上运行脚本。

c9qzyr3d

c9qzyr3d3#

使用新的npm模块x-ray,以及一个可插拔的web驱动程序x-ray-phantom
示例在上面的页面,但这里是如何做动态抓取:

var phantom = require('x-ray-phantom');
var Xray = require('x-ray');

var x = Xray()
  .driver(phantom());

x('http://google.com', 'title')(function(err, str) {
  if (err) return done(err);
  assert.equal('Google', str);
  done();
})
s6fujrry

s6fujrry4#

作为一个规范的回答,Puppeteer的另一个替代方案是Playwright,用于抓取动态站点,自2023年起也得到了很好的支持。

const playwright = require("playwright"); // ^1.28.1

let browser;
(async () => {
  browser = await playwright.chromium.launch();
  const page = await browser.newPage();
  await page.goto("https://example.com");
  const text = await page.locator('h1:text("Example")').textContent();
  console.log(text); // => Example Domain
})()
  .catch(err => console.error(err))
  .finally(() => browser?.close());
v1uwarro

v1uwarro5#

最简单可靠的解决方案是使用puppeteer。如https://pusher.com/tutorials/web-scraper-node中所述,它适用于静态+动态刮擦
仅将Browser.js、TimeoutSettings.js、Launcher.js中的超时从300000更改为3000000

相关问题