《淘宝技术这十年》阅读,总结其中谈到的技术(一)

2018/12/27 16:06
阅读数 7

1.淘宝双11活动,大量并发,提到 hadoop分布式计算集群,分布于全国各地的CDN网络(13年80多个节点),支持流量>800Gbps

2.大量的日志 TB级,通过高程度压缩(1:120),进行传送,给后台进行用户分析,(日志包括用户订单交易的快照等)

3.淘宝产生,开始是LAMP(linux+Apache+MySQL+PHP),随着PV的上升,采用IOE,IBM小型机+Oracle数据库+EMC储存,伴随用户体量的日益增长和业务的不断发展,技术亦需要进行发展,随之php--java的迁移,分布式平台的诞生。

4.大量短链接,处于连接池工具(SQL Relay)的使用,数据体量变大后,购买NAS(Network Attached Storage);

5.支付宝的诞生,交易过程的安全性,担保交易出现,一开始叫”安全交易“,随着使用安全交易后,订单增加,卖家选择这项服务就增多,后续则成为必选,支付宝的前身

6.邀请sun公司,更换开发语言,MVC框架+EJB(控制层)+ibatis(持久层),后续编程MVC+spring+ibatis

7.商品详情分表,详情页信息太多,对常用数据进行分类分表,后续商品详情直接修改为文件,存放在TFS文件系统,提到了Block存储、raid5(便宜的冗余存储)、ext3文件系统存放数据文件、data Server 运载在一台普通linux,TFS集群规模一直在提升,随机IOPS900+,实时缩略图的生成;文件定位,内存用hash算法索引,一次读盘;写盘,Append方式

8.快照功能的灵活使用,对商品的交易生成快照,不过存储成本上升;

9.Nginx,http服务器,特点:代码清晰、模块化、性能高;

10.失败的产品,”我的淘宝“,界面UI体验差,最终被取消,用到AJAX、prototpye;

11.”招财进宝“,类似百度的竞价排名,购买广告位,可以查看出了多少钱,信用、成交量、被收藏数量,很好的电商服务平台盈利模式,被收费抵制失败后,最后以淘宝直通车的形式复活;随着淘宝体量上升和话语权的上升,终于在后面强力推出天猫从淘宝分离的行动,空前强硬且成功,为整个电商行业进步加速,现在亚马逊基本还是以前淘宝的无分级模式(假货横行),从而奠定了我国电商领先世界的基石;用户行为跟踪和AJAX被提到;

12.TBstore缓存诞生,TBstore分布式算法,根据key进行Hash算法,对Hash值与总Cache服务器数据取模,再通过取模后的值,找到服务器列表中下表为此值得Cache服务器。通过Java Client API封装实现;

13.TBstore 存储基于Berkeley DB,弱点:Berkeley DB在数据量>内存后,即往硬盘写数据,缓存性能此时大幅下降。

14.UIC(user information center)诞生,应用系统访问UIC,获取高达几十亿的用户信息,必须用到缓存,不能直接查询数据库,TDBM诞生,参考了memcached内存结构

15.TDBM、TBstore的合并,key-value缓存系统---tair(taobao pair),Tair包括缓存和持久化两种存储功能。Tair为分布式系统,由中心控制节点(config server)+一系列服务节点(data server)组成,

16.iSearch搜索引擎,从每份数据1份变成每份数据多分,从单行变成矩阵,访问容量更大,可用性更高;

 

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部