我想从https://www.microsoft.com/en-us/download/confirmation.aspx?id=56519下载ipranges.json
(每周更新),我有这个python代码,它永远运行。
import wget
URL = "https://www.microsoft.com/en-us/download/confirmation.aspx?id=56519"
response = wget.download(URL, "ips.json")
print(response)
如何在Python中下载JSON文件?
2条答案
按热度按时间mpbci0fu1#
因为
https://www.microsoft.com/en-us/download/confirmation.aspx?id=56519
是自动触发javascript下载的链接,所以你只是下载页面,而不是文件。如果您检查下载的文件,源代码将如下所示
我们意识到该文件将改变后,一段时间,所以我们必须刮它在一般的方式
为了方便起见,我不会使用wget,这里有两个库:
requests
用于请求页面和下载文件,beaufitulsoup
用于解析htmlkmpatx3s2#
伟大的解决方案,我添加了自定义头,因为我从URL中得到一个错误,说我正在使用自动化用户代理字符串。以下是它现在的样子: