加载中
"Selenium + Chrome Diver"使用带用户名密码认证的HTTP代理的方法

介绍一种"Selenium + Chrome Diver"使用带用户名密码认证的HTTP代理的方法。

鲲鹏数据开源库python_google_translator介绍

原文作者:西安鲲之鹏 原文链接:http://www.site-digger.com/html/articles/20130812/68.html 关于KPBroswer: KPBroswer是一个基于QtWebKit的最小化浏览器程序,通过被第三方程序调用, 能...

2015/11/18 11:13
169
如何采集移动App的数据?

原文作者:西安鲲之鹏 原文链接:http://www.site-digger.com/html/articles/20121221/45.html 移动App是越来越火,各种各样的应用如雨后春笋般出现。 下面给大家分享一下如何采集移动App的数...

2015/11/17 16:32
1K
如何在采集程序中共享火狐的Cookie?

原文作者:西安鲲之鹏 原文链接:http://www.site-digger.com/html/articles/20120531/36.html 对于需要登录后才能进行的采集,采用共享火狐浏览器Cookie的方案好处是:不用自己在再写登录过...

2015/10/21 11:50
199
如何将CSV数据导入MySQL?

原文作者:西安鲲之鹏 原文链接:http://www.site-digger.com/html/articles/20120525/34.html 经常有客户咨询如何将CSV文件导入到MySQL数据库中,特写此文介绍一种方便、快捷的方法。 我们要...

2015/10/21 11:08
112
去哪儿网代理网站机票价格采集方案

原文作者:西安鲲之鹏 原文链接:http://http://www.site-digger.com/html/articles/20120509/33.html 去哪儿网的代理网站有自己独立的机票搜索接口,例如http://xyx.trade.qunar.com/site/。...

2015/10/21 10:51
93
国内常见的电子地图坐标介绍

原文作者:西安鲲之鹏 原文链接:http://http://www.site-digger.com/html/articles/20140115/72.html 经常有客户咨询各种电子地图坐标的问题,比如图吧地图坐标如何转谷歌地图坐标?我们在为...

2015/09/29 15:58
696
百度指数最新采集方案(快速、准确)

原文作者:西安鲲之鹏 原文链接:http://www.site-digger.com/html/articles/20141001/82.html 本方案是2014年9月份最新的思路。在6月份方案基础上做了重大改进,大大提高的采集的效率。 综合...

2015/09/29 15:25
210
如何在程序中处理reCAPTCHA?

原文作者:西安鲲之鹏 原文链接:http://http://www.site-digger.com/html/articles/20150408/86.html 本文不是讲如何破解谷歌的reCAPTCHA(实际上我们也办不到),而是介绍在程序中借助第三...

2015/09/28 17:34
152
去哪儿网供应商价格采集演示

原文作者:西安鲲之鹏 原文链接:http://http://www.site-digger.com/html/articles/20150422/89.html 去哪儿网的机票搜索采用了多重反采集策略,其中最麻烦的就是访问频率限制和数据加密。体...

2015/09/25 16:49
236
斗鱼网流媒体视频采集演示

原文作者:西安鲲之鹏 原文链接:http://www.site-digger.com/html/articles/20150603/91.html 斗鱼网的视频直播采用Flash + FLV流视频源的模式工作,斗鱼网的直播视频采集难度相对较大,主要...

2015/09/25 15:39
393
如何快速导入大SQL文件到MySQL数据库?

原文作者:西安鲲之鹏 原文链接:http://www.site-digger.com/html/articles/20150921/101.html 对于有经验的技术人员来说导入大SQL文件到数据库中并没有什么难度,然而有很多客户本身不是做...

2015/09/25 15:28
89
如何测试Ajax动态分页列表的最大可翻页数?

原文作者:西安鲲之鹏 原文链接:http://www.site-digger.com/html/articles/20150718/94.html 现在使用Ajax技术的网站越来越多,一个常见的应用就是动态分页:当列表页面滚动底部时,下一页的...

2015/09/25 11:44
61
如何在数据采集程序中判断JPG文件下载完整了?

原文作者:西安鲲之鹏 原文链接:http://www.site-digger.com/html/articles/20150805/96.html 由于网络问题在采集JPG图片的时候可能会出现不完整的情况,如下图示例: 如何避免这种情况呢?...

2015/09/25 11:32
61
如何有效地防止网站和手机APP的数据被采集?

原文作者:西安鲲之鹏 原文链接:http://www.site-digger.com/html/articles/20150813/97.html 随着Web数据采集技术的普及,大量网站和移动App的海量数据面临着被抓取的威胁。从技术角度讲W...

2015/09/25 11:13
2K
如何将百度墨卡托平面坐标转经纬度坐标?

原文作者:西安鲲之鹏 原文链接:http://www.site-digger.com/html/articles/20150831/98.html 以”钟楼”为例,在百度地图中搜索(结果如上图所示),返回的是12128773.43,4040249.00这种形...

2015/09/25 11:04
3.1K
大众点评网全国数据2015年08月份更新(1480万条)

原文作者:西安鲲之鹏 原文链接:http://www.site-digger.com/html/articles/20150907/99.html 数据说明: 大众点评全网数据(324个国内城市,所有分类),本次共采集商户数据超过1480万条(...

2015/09/25 10:52
485
哪种代理适合用于Web数据采集

在Web数据采集中为了避免被服务器封锁而通过代理下载的情况很常见。但是,并非所有的代理都适合于Web数据采集。下面是鲲鹏数据的技术人员给出的说明。 根据HTTP代理的匿名性可以将其分为以下...

代理利器DeleGate配置举例

DeleGate是一款代理利器,支持代理多种协议(HTTP, FTP, POP3,SMTP,DNS等),支持HTTP反向代理,支持代理转发(支持上游代理),支持多种认证方式。具有丰富的命令行参数,可以很方便地通过启...

2013/01/04 19:35
501

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部