使用它的好处在哪里呢?
以上几点,足以知道使用代理动态ip的好处,难不成还用自己电脑的ip呢?ip是能定位到你的好吧,所以咱一般不用自己的本地ip爬(简单的本地爬,某些数据还是要使用代理ip哈)
我随便使用的一个代理ip网站。反正你们随便找个代理网站都行。看谁福利多就用谁的咯,这个我只是测试。
生成代理api
点击生成链接:
认证一下:
再返回,点击生成链接,复制链接(保存在文档):
我们就是用最简单的requests模块:
import requests
然后我们再加上随机请求头模块(反爬用):
from fake_useragent import UserAgent
导入请求的url和随机请求头:
url='https://blog.csdn.net/weixin_46211269?spm=1011.2124.3001.5343'
headers={'User-Agent':UserAgent().random}
使用api获取到ip:(记得换成你自己的api)
# proxies = {'协议': '协议://IP:端口号'}
api_url='http://tiqu.ipidea.io:81/abroad?num=1&type=1&lb=1&sb=0&flow=1®ions=&port=1'
res = requests.post(api_url,headers=headers, verify=True)
proxie = "https://%s"%(res.text)
proxies = {'http': proxie}
print(proxies)
请求网址(以我自己的博客链接为例子):
html=requests.get(url=url,headers=headers,proxies=proxies).text
print(html)
完整源码:
import requests
from fake_useragent import UserAgent
url='https://blog.csdn.net/weixin_46211269?spm=1011.2124.3001.5343'
headers={'User-Agent':UserAgent().random}
# proxies = {'协议': '协议://IP:端口号'}
api_url='http://tiqu.ipidea.io:81/abroad?num=1&type=1&lb=1&sb=0&flow=1®ions=&port=1'
res = requests.post(api_url,headers=headers, verify=True)
proxie = "https://%s"%(res.text)
proxies = {'http': proxie}
print(proxies)
html=requests.get(url=url,headers=headers,proxies=proxies).text
print(html)
运行如下:
更多案例和具体实战我已经在前面的文章讲过了,这里主要是教一下大家如何使用代理ip,只是在原来的基础上加了一个代理ip。代理ip对于爬虫手来说,用处很大,一定要学会哇!
你看到本篇爬虫教程的时候,你给我说你连python基础都不会?那我推荐你看我的基础教程专栏:python全栈基础教程
专栏好不好,粉丝们说了算:
基础学完后再来本专栏的爬虫教程,一直都在更新,更新期间免费白嫖!三连好评一下,持续输出优质能容,最近更新慢,寒假再卷你们。
版权说明 : 本文为转载文章, 版权归原作者所有 版权申明
原文链接 : https://blog.csdn.net/weixin_46211269/article/details/122083331
内容来源于网络,如有侵权,请联系作者删除!