我尝试抓取一个website,但是我没有得到一些元素,因为这些元素是动态创建的。
我在node.js中使用了cheerio,我的代码如下。
var request = require('request');
var cheerio = require('cheerio');
var url = "http://www.bdtong.co.kr/index.php?c_category=C02";
request(url, function (err, res, html) {
var $ = cheerio.load(html);
$('.listMain > li').each(function () {
console.log($(this).find('a').attr('href'));
});
});
这段代码返回空响应,因为在加载页面时,<ul id="store_list" class="listMain">
为空。
内容尚未追加。
如何使用node.js获得这些元素?如何抓取包含动态内容的页面?
5条答案
按热度按时间ahy6op9u1#
给你
nnsrf1az2#
checkout GoogleChrome/puppeteer
无头Chrome节点API
下面的例子将在npmjs.com处抓取标题(假设
.npm-expansions
仍然存在)evaluate
将允许检查动态元素,因为这将在页面上运行脚本。c9qzyr3d3#
使用新的npm模块x-ray,以及一个可插拔的web驱动程序x-ray-phantom。
示例在上面的页面,但这里是如何做动态抓取:
s6fujrry4#
作为一个规范的回答,Puppeteer的另一个替代方案是Playwright,用于抓取动态站点,自2023年起也得到了很好的支持。
v1uwarro5#
最简单可靠的解决方案是使用puppeteer。如https://pusher.com/tutorials/web-scraper-node中所述,它适用于静态+动态刮擦。
仅将Browser.js、TimeoutSettings.js、Launcher.js中的超时从300000更改为3000000