声明
本项目所有代理IP均采集于网络,请勿用于非法途径,违者后果自负!
背景
最近疯狂爬虫,请求频繁经常触发网站的反爬策略,加代理是比较简单的方法,起初购买网上付费代理,用了段时间觉得便宜的代理质量也不咋样的,于是就自己实现了一个免费代理池。
设计
免费代理池流程图如下:
备注:
-
代理质量规则:
- 普通代理:检测成功次数小于20
- 稳定代理:检测成功次数大于20,小于50
- 优质代理:检测成功次数大于50
-
代理剔除规则:
- 普通代理:检测失败立即剔除
- 稳定代理:连续检测失败次数超过5次剔除
- 优质代理:连续检测失败次数超过10次剔除
选择几个相对稳定的免费代理作为目标站点:
源码
GitHub:https://github.com/GallopYD/proxy-pool (欢迎star!)
使用
免费代理池:https://proxy.357.im/
接口:https://proxy.357.im/api/doc
以上为个人开发总结,如有问题欢迎指出!
今天的文章PHP实现免费代理池分享到此就结束了,感谢您的阅读,如果确实帮到您,您可以动动手指转发给其他人。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
如需转载请保留出处:https://bianchenghao.cn/28870.html