文档章节

dungproxy

virjar
 virjar
发布于 2017/02/13 22:55
字数 437
阅读 63
收藏 1

dungpxoy设计的目的就是为了突破爬虫目标网站的封禁策略的。因为httpclient是根据浏览器标准来实现的一个框架,很多时候默认策略容易被目标网站发现。dungproxy则实现以下方案。

提供代理服务

dungproxy本身提供了一个server,用来收集互联网上海量的代理IP。并通过我们独特的算法对其清洗打分。我们使用历史数据对当前IP可用性推测的原理来动态调整IP探测频率,使用快速降权的策略,使得server维护了一个高度活跃的可用IP池。

提供透明客户端

dungproxy有一个client,用来在最终用户机器上面实现IP资源池。client使得IP可用性的活跃保持在秒级,同时经过我们独立设计的分值计算模型,分值顺序惩罚模型,能够高效的保证IP池的优质IP被调度,切IP始终会切换。

dungproxy对httpclient有较为深度的定制,包括默认ua的织入(同时还提供了一个符合浏览器规范的User-Agent生成器),代理IP池的织入,cookie空间隔离等策略。

dungproxy定位为代理IP池,它可以对接各种IP,然后基于我们设计的smartProxyQueue资源切换模型来根据IP质量调度IP使用频率。IP根据使用效果来竞争代理IP作用权.

dungproxy目前已经在部分团队哪里得到了实践的验证,他使得在海量免费IP资源上面实现稳定的代理服务变成了可能。

项目地址:https://git.oschina.net/virjar/proxyipcenter

© 著作权归作者所有

共有 人打赏支持
virjar
粉丝 3
博文 2
码字总数 1162
作品 3
成都
代理IP池--DungProxy

DungProxy是一个代理IP服务,他包括一个代理IP资源server端和一系列适配中心IP资源得客户端。server负责代理IP资源的收集维护。client则是一系列方便用户使用得API,他屏蔽了代理IP下载、代理I...

virjar
2017/02/18
1K
3
DungProxy 0.0.6 发布,代理 IP 池

dungproxy是一个代理IP池,通过一种顺序惩罚算法实现灵敏的IP切换和IP评分。适用于模拟登录,爬虫,抓取等业务。同时dungproxy提供一个免费的代理IP源,dungproxy-client默认情况下会自动接入...

virjar
2017/05/20
767
5
virjar/vscrawler

vscrawler vscrawler是一个更加适合抓取的爬虫框架,他不是教科书似的爬虫,准确说他不是爬虫,没有广度优先遍历这些说法,他所面临的网站URL不是网络里面的网络拓扑图而是一个个目标明确的抓...

virjar
2017/06/14
0
0
vscrawler 0.2.1发布,适合用作抓取的爬虫框架

VSCrawler是一个适合用作抓取的爬虫框架,在更多场景倾向于功能扩展性而牺牲使用简便性。这让VSCrawler非常强大,让他可以灵活的应对目标网站的反爬虫策略。 vscrawler有挺多特点 1. 多用户登...

virjar
2017/12/16
686
8
适合抓取封堵的爬虫框架 - vscrawler

VSCrawler是一个适合用作抓取的爬虫框架,在更多场景倾向于功能扩展性而牺牲使用简便性。这让VSCrawler非常强大,让他可以灵活的应对目标网站的反爬虫策略。为了方便描述,文档中可能使用VS替...

virjar
2017/12/10
304
0

没有更多内容

加载失败,请刷新页面

加载更多

OSX | SafariBookmarksSyncAgent意外退出解决方法

1. 启动系统, 按住⌘-R不松手2. 在实用工具(Utilities)下打开终端,输入csrutil disable, 然后回车; 你就看到提示系统完整性保护(SIP: System Integrity Protection)已禁用3. 输入reboot回车...

云迹
今天
4
0
面向对象类之间的关系

面向对象类之间的关系:is-a、has-a、use-a is-a关系也叫继承或泛化,比如大雁和鸟类之间的关系就是继承。 has-a关系称为关联关系,例如企鹅在气候寒冷的地方生活,“企鹅”和“气候”就是关...

gackey
今天
4
0
读书(附电子书)|小狗钱钱之白色的拉布拉多

关注公众号,在公众号中回复“小狗钱钱”可免费获得电子书。 一、背景 之前写了一篇文章 《小狗钱钱》 理财小白应该读的一本书,那时候我才看那本书,现在看了一大半了,发现这本书确实不错,...

tiankonguse
今天
4
0
Permissions 0777 for ‘***’ are too open

异常显示: @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ @ WARNING: UNPROTECTED PRIVATE KEY FILE! @ @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ ......

李玉长
今天
5
0
区块链10年了,还未落地,它失败了吗?

导读 几乎每个人,甚至是对通证持怀疑态度的人,都对区块链的技术有积极的看法,因为它有可能改变世界。然而,区块链技术问世已经10年了,我们仍然没有真正的用上区块链技术。 几乎每个人,甚...

问题终结者
今天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部