NodeJS 在云功能上使用puppeteer拒绝网站访问

htrmnn0y  于 2023-06-29  发布在  Node.js
关注(0)|答案(1)|浏览(166)

我正在尝试使用puppeteer浏览此网址https://www.myntra.com/laptop-bag/chumbak/chumbak-unisex-brown-geo-bird--printed-laptop-bag/6795882/buy。当我使用{ headless: false }时,它工作正常,但在无头模式下失败。
然后我用这个比较了两种情况下的React。

const resp = await page.goto(url);
console.log(resp);

然后我发现我们需要在使用无头模式时添加userAgent。所以我加了这个。

await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36');

现在,它在两种情况下都在本地工作。但是当我部署到云功能时,它仍然失败。
这是使用puppeteer截图。

这是响应日志的某个部分。

_headers: 
   { status: '403',
     server: 'AkamaiGHost',
     'mime-version': '1.0',
     'content-type': 'text/html',
     'content-length': '395',
     expires: 'Thu, 09 Jul 2020 12:16:30 GMT',
     date: 'Thu, 09 Jul 2020 12:16:30 GMT',
     'set-cookie': 'AKA_A2=A; expires=Thu, 09-Jul-2020 13:16:30 GMT........

我错过什么了吗?
谢谢

更新:

我已经使用了 Puppeteer 隐形插件沿着IP旋转。这里是代码

const puppeteer = require('puppeteer-extra');

const StealthPlugin = require('puppeteer-extra-plugin-stealth')
puppeteer.use(StealthPlugin())

const AdblockerPlugin = require('puppeteer-extra-plugin-adblocker')
puppeteer.use(AdblockerPlugin({ blockTrackers: true }))

IP轮换:

var browser = await puppeteer.launch({
           headless: true,
           args: ['--proxy-server=abcd-efg.proxymesh.com:12345']
         });

var page = await browser.newPage();

await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36');

await page.authenticate({
          username: 'myusername',
          password: 'mypassword'
        });

IP轮换在本地工作,但在云功能上仍被阻止。

91zkwejq

91zkwejq1#

使用住宅代理解决了此问题。

最初,我部署了云函数和AWS lambda,并使用IP轮换。我已经使用代理网服务的IP轮换。但它仅提供数据中心代理。失败了。然后我尝试了另一个服务的住宅代理。成功了

相关问题