postman 如何使用GET从网站中检索HTML代码(不使用Selenium等)？

ymzxtsji 于 2023-11-18 发布在 Postman

关注(0)|答案(2)|浏览(133)

当通过PHP向https://comeback.pw/cats/146x?page=1发出GET请求时，我收到了不同的HTML响应，而在普通浏览器中一切正常。
似乎有JavaScript内容保护。是否可以绕过它？当我从Chrome复制cURL请求并将其导入Postman时，它会返回正确的数据。但是，如果我再次在Postman中执行相同的请求，我会收到不同的响应。可能是什么导致了这种行为？

postman

来源：https://stackoverflow.com/questions/77379929/how-to-retrieve-html-code-from-a-website-using-get-without-selenium-etc

2条答案

按热度按时间

yv5phkfx1#

我用这样一个简单的卷发测试，它似乎很好。

<?php

$url = "https://comeback.pw/cats/146x?page=1";
$ch = curl_init();
curl_setopt($ch, CURLOPT_REFERER, 'https://google.com');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']);
curl_setopt($ch, CURLOPT_URL, $url);
$response = curl_exec($ch);
curl_close($ch);

print_r($response);

?>

字符串

赞(0）回复(0）举报 2023-11-18

mnowg1ta2#

我收到不同的HTML响应，而在普通浏览器中一切正常。可能是什么问题？
该页面有JavaScript，在执行后会改变该页面的内容。GNU wget不支持JavaScript执行。你需要这样做的工具。我建议看看PhantomJS，虽然我不确定它是否不被禁止作为你的问题的标题的 etc 部分。

赞(0）回复(0）举报 2023-11-18