我正在尝试使用puppeteer浏览此网址https://www.myntra.com/laptop-bag/chumbak/chumbak-unisex-brown-geo-bird--printed-laptop-bag/6795882/buy。当我使用{ headless: false }
时,它工作正常,但在无头模式下失败。
然后我用这个比较了两种情况下的React。
const resp = await page.goto(url);
console.log(resp);
然后我发现我们需要在使用无头模式时添加userAgent。所以我加了这个。
await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36');
现在,它在两种情况下都在本地工作。但是当我部署到云功能时,它仍然失败。
这是使用puppeteer截图。
这是响应日志的某个部分。
_headers:
{ status: '403',
server: 'AkamaiGHost',
'mime-version': '1.0',
'content-type': 'text/html',
'content-length': '395',
expires: 'Thu, 09 Jul 2020 12:16:30 GMT',
date: 'Thu, 09 Jul 2020 12:16:30 GMT',
'set-cookie': 'AKA_A2=A; expires=Thu, 09-Jul-2020 13:16:30 GMT........
我错过什么了吗?
谢谢
更新:
我已经使用了 Puppeteer 隐形插件沿着IP旋转。这里是代码
const puppeteer = require('puppeteer-extra');
const StealthPlugin = require('puppeteer-extra-plugin-stealth')
puppeteer.use(StealthPlugin())
const AdblockerPlugin = require('puppeteer-extra-plugin-adblocker')
puppeteer.use(AdblockerPlugin({ blockTrackers: true }))
IP轮换:
var browser = await puppeteer.launch({
headless: true,
args: ['--proxy-server=abcd-efg.proxymesh.com:12345']
});
var page = await browser.newPage();
await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36');
await page.authenticate({
username: 'myusername',
password: 'mypassword'
});
IP轮换在本地工作,但在云功能上仍被阻止。
1条答案
按热度按时间91zkwejq1#
使用住宅代理解决了此问题。
最初,我部署了云函数和AWS lambda,并使用IP轮换。我已经使用代理网服务的IP轮换。但它仅提供数据中心代理。失败了。然后我尝试了另一个服务的住宅代理。成功了