使用httpcliet抓取网络数据的两套方案
使用httpcliet抓取网络数据的两套方案
change_solider 发表于4年前
使用httpcliet抓取网络数据的两套方案
  • 发表于 4年前
  • 阅读 47
  • 收藏 0
  • 点赞 0
  • 评论 3

腾讯云 技术升级10大核心产品年终让利>>>   

摘要: 使用httpcliet抓取网络数据的两套方案
使用httpcliet抓取网络数据的两套方案

简要说明:
需要进行用户登陆的抓取网络数据解决方案。
用户的许多操作都必须是登陆后才能进行的,
第一种指,登陆后,可以做任何操作,但连接不能断
第二种指,每次做任何操作,先登陆 ,再操作,操作完成之后,关闭连接。


第一种方式:维持长连接
1.使用session保存一个httpclient对象,httpclient维护客户端与server连接
2.用户只用验证一次,即可做所有的操作。
3.server可能会维持大量连接
4.session 30分钟没使用,会自动断开连接
5.httpclient在全局有效。



第二种方式:不维持长连接
1.每次抓取数据操作,使用一个httpclient,使用完毕后,关闭httpclient.
2.server不会维持大量连接
3.每次用户操作都需要进行用户验证,比如获得课表这一操作,需要先登陆用户,再得到课表。
4.每次操作后,需要关闭httpclient.
5.httpclient在一次操作中有效。

例如:
抓取教务系统数据:
第一种方式是:先登陆上教务系统 ,然后一直保持着和教务系统的长连接,直到30分钟没有操作,连接自动关闭,在保持连接的时候,用户可以任意的读取教务系统中的数据,比如课表,成绩,个人信息。
第二种方式是:用户想用看课表,好的,用户需要提供用户名,密码,以及看哪个课表。。server登陆上教务系统,获得了与教务系统的连接,得到课表后,server断开与教务系统的连接,server将请求到的数据返回给client.
共有 人打赏支持
粉丝 20
博文 7
码字总数 4656
作品 1
评论 (3)
change_solider
求大神指教。。
土鳖的弟弟

引用来自“change_solider”的评论

求大神指教。。
what
change_solider

引用来自“change_solider”的评论

求大神指教。。

引用来自“梅三公子”的评论

what
我又学了几天httpclient,发现之前的理解有点粗浅,许多的理解也都错了。。
×
change_solider
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: