proxy_pool batch_refresh Schedule阻塞

vptzau2j 于 2023-03-19 发布在其他

关注(0)|答案(6)|浏览(304)

WARNING:apscheduler.scheduler:Execution of job "batch_refresh (trigger: interval[0:01:00], next run at: 2018-12-11 13:14:33 CST)" skipped: maximum number of running instances reached

在验证raw_proxy的时候，常常发现raw_proxy堆积，同时伴有以上错误提示。同时会发现refresh新代理感觉回到了单线程的情况。
一旦raw_proxy不堆积，便不会有报错，很奇怪。
求个解决方案。
目前的解决方案是一旦人工发现堆积情况，便新开一个进程，这样就会很快地验证完raw_proxy。

proxy_pool

来源：https://github.com/jhao104/proxy_pool/issues/230

6条答案

按热度按时间

n53p2ov01#

WARNING:apscheduler.scheduler:Execution of job "batch_refresh (trigger: interval[0:01:00], next run at: 2018-12-11 13:14:33 CST)" skipped: maximum number of running instances reached

在验证raw_proxy的时候，常常发现raw_proxy堆积，同时伴有以上错误提示。同时会发现refresh新代理感觉回到了单线程的情况。
一旦raw_proxy不堆积，便不会有报错，很奇怪。
求个解决方案。
目前的解决方案是一旦人工发现堆积情况，便新开一个进程，这样就会很快地验证完raw_proxy。

遇到了同样问题

赞(0）回复(0）举报 2023-03-19

dhxwm5r42#

想了解一下
是完全"无法验证raw_proxy"
还是"验证raw_proxy很慢"

赞(0）回复(0）举报 2023-03-19

qvtsj1bj3#

想了解一下
是完全"无法验证raw_proxy"
还是"验证raw_proxy很慢"

只是很慢。量化一点的话，感觉是剩1~2个线程在跑。

赞(0）回复(0）举报 2023-03-19

wfauudbj4#

解决方案 proxy_pool/Schedule/ProxyRefreshSchedule.py:102

minutes=1 修改成 minutes=30 , 这个时间还是要看 raw_proxy 的大小