网抓取工具和技巧
博客专区 > fir01 的博客 > 博客详情
网抓取工具和技巧
fir01 发表于3年前
网抓取工具和技巧
  • 发表于 3年前
  • 阅读 80
  • 收藏 6
  • 点赞 0
  • 评论 1

标题:腾讯云 新注册用户域名抢购1元起>>>   

摘要: 网页抓取工具和技巧

偶尔会有需求提取竞争对手的网站数据,而且网站一般会有一些防护程序抓取的方案。

工具:

httpclient:有点笨重的工具,入门还是要些门槛

jsoup:轻量强大

webdriver:谷歌出品的精品,可以抓取网页和执行javascript

Selenium :做测试的朋友推荐的,可以录制脚本

基本jsoup+webdriver就能完成所有浏览器模拟的工作

共有 人打赏支持
粉丝 19
博文 99
码字总数 34117
评论 (1)
姚君
很好
×
fir01
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: