scrapy 使用身份验证循环代理

v1uwarro 于 2023-01-02 发布在其他

关注(0)|答案(1)|浏览(112)

只是一个noob的问题，但我似乎不能找到答案谷歌.我怎么能使用这个包https://pypi.org/project/scrapy-rotating-proxies/如果代理需要一个用户/密码？我只是把它放在旋转列表喜欢吗？

ROTATING_PROXY_LIST = [
    'https://username:password@proxy:port',
    'https://username:password@proxy:port',
    # ...
]

谢谢

1条答案

对我有效的是使用旋转代理列表路径：

ROTATING_PROXY_LIST_PATH = 'path/to/proxylist.txt'

然后在文本文件中，我把列表格式化为：

USERNAME:PASSWORD@HOST:PORT
USERNAME:PASSWORD@HOST:PORT
USERNAME:PASSWORD@HOST:PORT