介绍一种＂Selenium + Chrome Diver＂使用带用户名密码认证的HTTP代理的方法。

原文作者：西安鲲之鹏 原文链接：http://www.site-digger.com/html/articles/20130812/68.html 关于KPBroswer： KPBroswer是一个基于QtWebKit的最小化浏览器程序，通过被第三方程序调用， 能...

原文作者：西安鲲之鹏 原文链接：http://www.site-digger.com/html/articles/20121221/45.html 移动App是越来越火，各种各样的应用如雨后春笋般出现。 下面给大家分享一下如何采集移动App的数...

原文作者：西安鲲之鹏 原文链接：http://www.site-digger.com/html/articles/20120531/36.html 对于需要登录后才能进行的采集，采用共享火狐浏览器Cookie的方案好处是：不用自己在再写登录过...

原文作者：西安鲲之鹏 原文链接：http://www.site-digger.com/html/articles/20120525/34.html 经常有客户咨询如何将CSV文件导入到MySQL数据库中，特写此文介绍一种方便、快捷的方法。 我们要...

原文作者：西安鲲之鹏 原文链接：http://http://www.site-digger.com/html/articles/20120509/33.html 去哪儿网的代理网站有自己独立的机票搜索接口，例如http://xyx.trade.qunar.com/site/。...

原文作者：西安鲲之鹏 原文链接：http://http://www.site-digger.com/html/articles/20140115/72.html 经常有客户咨询各种电子地图坐标的问题，比如图吧地图坐标如何转谷歌地图坐标？我们在为...

原文作者：西安鲲之鹏 原文链接：http://www.site-digger.com/html/articles/20141001/82.html 本方案是2014年9月份最新的思路。在6月份方案基础上做了重大改进，大大提高的采集的效率。 综合...

原文作者：西安鲲之鹏 原文链接：http://http://www.site-digger.com/html/articles/20150408/86.html 本文不是讲如何破解谷歌的reCAPTCHA（实际上我们也办不到），而是介绍在程序中借助第三...

原文作者：西安鲲之鹏 原文链接：http://http://www.site-digger.com/html/articles/20150422/89.html 去哪儿网的机票搜索采用了多重反采集策略，其中最麻烦的就是访问频率限制和数据加密。体...

原文作者：西安鲲之鹏 原文链接：http://www.site-digger.com/html/articles/20150603/91.html 斗鱼网的视频直播采用Flash + FLV流视频源的模式工作，斗鱼网的直播视频采集难度相对较大，主要...

原文作者：西安鲲之鹏 原文链接：http://www.site-digger.com/html/articles/20150921/101.html 对于有经验的技术人员来说导入大SQL文件到数据库中并没有什么难度，然而有很多客户本身不是做...

原文作者:西安鲲之鹏 原文链接：http://www.site-digger.com/html/articles/20150718/94.html 现在使用Ajax技术的网站越来越多，一个常见的应用就是动态分页：当列表页面滚动底部时，下一页的...

原文作者：西安鲲之鹏 原文链接：http://www.site-digger.com/html/articles/20150805/96.html 由于网络问题在采集JPG图片的时候可能会出现不完整的情况，如下图示例： 如何避免这种情况呢？...

原文作者：西安鲲之鹏 原文链接：http://www.site-digger.com/html/articles/20150813/97.html 随着Web数据采集技术的普及，大量网站和移动App的海量数据面临着被抓取的威胁。从技术角度讲W...

原文作者：西安鲲之鹏 原文链接：http://www.site-digger.com/html/articles/20150831/98.html 以”钟楼”为例，在百度地图中搜索（结果如上图所示），返回的是12128773.43,4040249.00这种形...

原文作者：西安鲲之鹏 原文链接：http://www.site-digger.com/html/articles/20150907/99.html 数据说明： 大众点评全网数据（324个国内城市，所有分类），本次共采集商户数据超过1480万条（...

在Web数据采集中为了避免被服务器封锁而通过代理下载的情况很常见。但是，并非所有的代理都适合于Web数据采集。下面是鲲鹏数据的技术人员给出的说明。 根据HTTP代理的匿名性可以将其分为以下...

DeleGate是一款代理利器，支持代理多种协议（HTTP, FTP, POP3,SMTP,DNS等），支持HTTP反向代理，支持代理转发（支持上游代理），支持多种认证方式。具有丰富的命令行参数，可以很方便地通过启...