文档章节

《大型技术架构》读书笔记

HarleyZhuge
 HarleyZhuge
发布于 2017/02/16 09:33
字数 2868
阅读 5
收藏 0
点赞 0
评论 0
  1. 网站架构模式:分层(单一职责,MVC分层,控制层-服务层-数据层),分割(不同功能与服务分割),分布式(服务调用需要通过网络,带来了网络问题;分布式数据一致性问题),集群,缓存,异步,冗余(冷备份,热备份),自动化,安全。

  2. 常用的分布式方案:分布式应用与服务;分布式静态资源(动静分离JS,CSS,图片等,减轻应用服务器的负载压力);分布式数据与存储(读写分离;分库分表;缓存优化;传统数据库分布式部署;使用NoSQL);分布式计算。

  3. 缓存:CDN(内容分发,部署在离用户最近的网络服务商),反向代理(部署在网站的数据中心),本地缓存(缓存在本机内存中,但是不适合大量的数据),分布式缓存(分布式缓存集群)。热点数据缓存,注意缓存的时间,避免出现数据脏读,影响数据一致性。

  4. 异步:单一服务器可以通过多线程共享内存队列的方式实现;分布式系统中可以通过分布式消息队列实现。典型的模型就是生产者-消费者模式,两者之间不存在直接调用,只是保持数据结构不变。作用:提高网站可用性;加快网站响应速度;消除并发访问高峰。

  5. 性能问题,网站响应速度慢,优化措施:通过浏览器缓存,页面压缩等;使用CDN,动静分离,部署反向代理服务器,缓存热点文件;使用本地缓存与分布式缓存;使用消息队列,异步处理请求;代码层面使用多线程,内存管理等进行优化;数据库方面使用索引,缓存,优化SQL,读写分离等。

  6. 可用性:网站高可用的主要手段就是冗余,通过负载均衡服务器统一一个集群对外提供服务,有效的负载均衡策略;数据服务器进行实时备份,宕机时进行数据转移并恢复。

  7. 网站可扩展性的主要手段是事件驱动架构和分布式服务。事件驱动通常将请求构造成消息发布到消息队列之中,消息处理者通过消息队列中获取消息进行处理。分布式服务是将业务与基础服务分离开来。

  8. 性能优化策略:首先要进行性能数据的搜集,然后针对性能报告进行性能分析,检查请求处理的各个环节的日志信息,分析是哪个环节响应时间较长,检查监控数据,分析影响性能的是硬件设施(内存,磁盘,CPU,网络)还是代码问题还是架构设计不合理,亦或是系统资源不足等。找到问题的原因后再针对不同的问题进行相应的优化。

  9. 浏览器访问优化:减少http请求(合并CSS,JS文件,图片等),http协议是无状态的应用层协议,意味着每次http请求都需要建立通信链路,进行数据传输。使用浏览器缓存(设置http的头字段)。启用压缩(对html,css,js文件进行GZIP压缩)

  10. 网站优化第一定律:优先考虑使用缓存优化性能。

  11. 缓存的基本原理:缓存指的是将数据存储在相对较高访问速度的存储介质中,减少数据访问的时间。缓存的本质是一个内存Hash表,数据缓存以一对Key,Value的形式存储在内存Hash表中。Hash表数据读写的时间复杂度为O(1)。缓存中主要用来存放读写比较高,很少变化的数据,应用程序先读写缓存,缓存中没有或者数据失效再去数据库中查询,并将查询到的数据写入缓存。缓存要考虑数据一致性问题与脏读。可以设置策略是数据更新后马上更新缓存。缓存雪崩问题通过分布式缓存解决。

  12. 分布式缓存:缓存部署在多个服务器组成的集群上。两种缓存架构方式:JBoss Cache为代表的需要更新同步的分布式缓存;以Memcached为代表的不互相通信的分布式缓存。

  13. JBoss Cache的分布式缓存在集群中的所有服务器上都保存相同的缓存数据,当某台服务器缓存更新时,会通知集群中所有的机器进行缓存更新或清除缓存。一般会将JBoss Cache与应用程序部署在同一服务器上。

  14. Memcached采用的是集中式的缓存管理,缓存与应用分离部署,缓存系统部署在专门的集群上,应用程序通过一致性hash等路由算法选择缓存服务器远程访问缓存数据,缓存服务器之间不通信。这样缓存集群可以很简单的实现扩容,具备良好的可伸缩性。采用的是TCP协议(UDP也支持)通信,序列化协议是通过基于文本的自定义协议。服务端和客户端,采用memcached协议交互。

  15. ①负载均衡+session复制,将session同步至每个应用服务器,保证服务的状态。②session绑定,利用负载均衡的源地址hash算法实现将来源于同一IP的请求始终分发到同一台应用服务器上。③利用浏览器的cookie记录下session以及sessionID,将session以及sessionID发送给负载均衡器,负载均衡服务器根据sessionID将请求转发至相应的应用服务器。④设置专门的session服务器统一管理session,应用程序每次读写session都通过session服务器。

  16. 负载均衡算法:轮询:请求依次分发到每台应用服务器上;加权轮询:根据应用服务器的性能进行加权重新分配;随机;最少连接:记录每个应用服务器正在处理的请求连接数,将新的请求分配到连接数最少的服务器上;源地址散列。

  17. 网络IO的实现:BIO;NIO;AIO。

  18. BIO采用阻塞的方式实现,也就是说一个Socket套接字需要使用一个线程来处理。支持并发的连接,需要更多的线程来完成这个工作。

  19. NIO基于事件驱动思想,采用的是Reactor模式。可以在一个线程中处理多个套接字Socket相关的工作。Reactor会管理所有的handler,并把出现的事件交给相应的handler去处理。

  20. AIO就是异步IO。采用Proactor模式,AIO与NIO的区别:AIO在读写操作时,只需要调用相应的read/write方法,并且需要传入CompletionHandler;在完成动作后会调用CompletionHandler。而NIO的通知是发生在动作之前,是在可写可读的时候,selector发现这些事件后调用handler处理。

  21. 控制器的变化:使用硬件负载均衡——》使用软件负载均衡(LVS)(透明代理,请求发送方和处理方都不需要知道对方,但是存在不足:增加网络的开销,比如流量和延时;代理出现问题则所有请求都会受到影响)——》采用名称服务直连方式请求调用(名称服务器是通过跟请求处理的机器交互来获取这些机器的地址)——》采用规则服务器控制路由的请求直连调用(规则服务器本身并不和请求处理的机器进行交互,只负责把规则提供给请求发起的机器)——》master+worker的方式(存在一个master来管理worker)

  22. 运算器的变化:DNS调度——》DNS+负载均衡调度(DNS返回的永远都是负载均衡设备的地址)

  23. 存储器的变化:单机的Key-Value服务——》使用代理服务器的多机Key-Value服务——》使用名称服务的Key-Value服务——》使用规则服务器的Key-Value服务——》通过Master的Key-Value服务

  24. 分布式系统的难点:①缺乏全局时钟;②面对故障独立性;③处理单点故障;④事务的挑战

  25. 数据库读写分离:两个问题:数据复制问题(使用数据库本身提供的数据复制机制,但还是存在复制延时的数据不一致性问题);应用对于数据源的选择问题(写操作要走主库,事务中的读操作也要走主库)

  26. 搜索引擎技术解决大型网站站内搜索时的某些场景下的读的问题,提供了更好的查询效率,站内搜索结构和使用读库非常相似,只是多了自己建立数据索引的步骤。

  27. 缓存:数据缓存(全数据缓存(数据库的数据发生变化后会把数据写入到缓存中,保证数据不会读取失效);热数据缓存(应用访问缓存,如果数据不存在则去数据库里读取并把数据加入到缓存中));页面缓存(ESI规范)

  28. 缓存的一个关键指标缓存命中率,如果缓存命中率比较低的话就意味着有不少请求要回到数据库中查询。还要考虑缓存服务器的扩容与缩容(一致性hash)以及缓存数据更新(定时失效,数据变更时失效,数据变更时更新)。

  29. 数据库拆分:专库专用,数据垂直拆分(不同业务数据拆分到不同的数据库中);数据的水平拆分(把同一个表的数据拆分到不同的数据库中)。

  30. 服务化:把应用分为三层,处于最上端的是Web系统,用于完成不同的业务功能;处于中间的是一些服务中心,不同的服务中心提供不同的业务服务,处于下层的则是业务的数据库同时引入了远程调用,共享代码不再散落在各个应用中而是放到了各个服务中心上。数据交互工作由业务服务中心完成。

  31. 远程过程调用和对象访问中间件(主要解决分布式环境下应用互相访问的问题);消息中间件(解决应用之间的消息传递,解耦以及异步问题);数据访问中间件(主要解决应用访问数据库的共性问题)

  32. 静态代理与动态代理?静态代理为每一个被代理的对象构造对应的代理类。动态代理是动态地生成具体委托类的代理实现对象,通过Proxy.newProxyInstance来创建代理方法可以为不同的委托类都创建代理类。方法调用使用invoke。

  33. 服务化使得原来的一些本地调用变为了远程调用。远程调用:获取可用服务地址列表->确定要调用服务的目标机器->建立连接->请求序列化->发送请求->接受结果->解析结果。

本文转载自:https://hacpai.com/article/1467805365256#comments

共有 人打赏支持
HarleyZhuge
粉丝 13
博文 151
码字总数 128687
作品 0
美国
程序员
UNIX网络编程卷2进程间通信读书笔记汇总

UNIX网络编程卷2进程间通信读书笔记(一)—概述 http://blog.chinaunix.net/u/22935/article527112.html UNIX网络编程卷2进程间通信读书笔记(二)—管道 (1) http://blog.chinaunix.net/...

长平狐 ⋅ 2012/09/03 ⋅ 0

如何用jq实现把该数组转换成下方数组的方式

如何用jq实现把该数组转换成下方数组的方式: lists:[ {id:1,target:1,logType:"type1",createTime:1523614887142,description:"读书笔记1",code:""}, {id:2,target:1,logType:"type1",creat......

heyujun- ⋅ 04/13 ⋅ 0

如何处理分页api以天为单位输出

@蓝水晶飞机 你好,想跟你请教个问题: 如果后台api返回的数据一下格式且分页: lists:[ {id:1,target:1,logType:"type1",createTime:1523614887142,description:"读书笔记1",code:""}, {id:...

heyujun- ⋅ 04/15 ⋅ 0

读书笔记:架构之道(V1.0)

读书笔记:架构之道(V1.0) ShareCore2014-10-19281 阅读 读书笔记架构 下载链接:读书笔记:架构之道(v1.0).xmind Included file ‘post/copyright.html’ not found in _includes directory 点...

ShareCore ⋅ 2014/10/19 ⋅ 0

2018开始读书吧——关于读书的思考

1.封目序尾 所谓的封目序尾就是:读书前要先看封面、目录、序言、结尾。 封面:题目是作者花了很长的时间才总结出的,是对这本书的一句话概括,是这本书的核心价值。 目录:是对这本书的梳理...

尚洪范 ⋅ 01/03 ⋅ 0

告诉你1年读100本书的方法

《书都不会读,你还想成功》是一本小说,由韩国作家二志成和郑会一合著,书的内容为一个焦躁的职场人士通过读书的方式,彻底改变了自己的思维方式,进而改变了自己的生活的故事。 下面就说说...

anda0109 ⋅ 2016/12/22 ⋅ 0

敏捷教练成长记:平安夜中第八周

这是第八周,也是平安夜,愿大家平安。 上周计划完成情况 1、敏捷方面读不少于50页的书或者文章。 - 读了修改代码的艺术,暂未输出读书笔记。 - 完成《家长学校读本(一年级)》阅读,并输出...

通爸 ⋅ 2017/12/24 ⋅ 0

《数据之巅》读书笔记

《数据之巅》读书笔记 笑遍世界2017-05-1311 阅读 大数据读书笔记 2016年初读的徐子沛的一本书《数据之巅》,把读书笔记记录一下。 美国国会实行参众两院制,众议院的席位按人口比例在各州之...

笑遍世界 ⋅ 2017/05/13 ⋅ 0

学习编程,也请多做笔记多思考

一直以来我坚信坚持阅读是一件非常有意义的事情,但是渐渐地我发现很多人阅读,往往都是走马观花,绝大多数人虽然看了很多书或者视频最后却什么都不会,我们浪费了大量的时间在看,却不是在思...

路人甲 ⋅ 2017/11/16 ⋅ 0

敏捷教练成长记:漫漫长路第三周

看到跆拳道的软文,讲到: 学跆拳道的正确顺序: 第一阶段:有兴趣 第二阶段:没兴趣 第三阶段:逼练习 第四阶段:成习惯 第五阶段:有兴趣 第六阶段:真热爱 大部分家长在孩子第二阶段时放弃...

转型实践者 ⋅ 2017/11/17 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

OSChina 周六乱弹 —— 假如你被熊困到树上

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @小小编辑:推荐歌曲《如果写不出好的和弦就该在洒满阳光的钢琴前一起吃布丁》 《如果写不出好的和弦就该在洒满阳光的钢琴前一起吃布丁》- 谢...

小小编辑 ⋅ 28分钟前 ⋅ 2

vbs 取文件大小 字节

dim namedim fs, s'name = Inputbox("姓名")'msgbox(name)set fs = wscript.createobject("scripting.filesystemobject") 'fs为FSO实例if (fs.folderexists("c:\temp"))......

vga ⋅ 今天 ⋅ 1

高并发之Nginx的限流

首先Nginx的版本号有要求,最低为1.11.5 如果低于这个版本,在Nginx的配置中 upstream web_app { server 到达Ip1:端口 max_conns=10; server 到达Ip2:端口 max_conns=10; } server { listen ...

算法之名 ⋅ 今天 ⋅ 0

Spring | IOC AOP 注解 简单使用

写在前面的话 很久没更新笔记了,有人会抱怨:小冯啊,你是不是在偷懒啊,没有学习了。老哥,真的冤枉:我觉得我自己很菜,还在努力学习呢,正在学习Vue.js做管理系统呢。即便这样,我还是不...

Wenyi_Feng ⋅ 今天 ⋅ 0

博客迁移到 https://www.jianshu.com/u/aa501451a235

博客迁移到 https://www.jianshu.com/u/aa501451a235 本博客不再更新

为为02 ⋅ 今天 ⋅ 0

win10怎么彻底关闭自动更新

win10自带的更新每天都很多,每一次下载都要占用大量网络,而且安装要等得时间也蛮久的。 工具/原料 Win10 方法/步骤 单击左下角开始菜单点击设置图标进入设置界面 在设置窗口中输入“服务”...

阿K1225 ⋅ 今天 ⋅ 0

Elasticsearch 6.3.0 SQL功能使用案例分享

The best elasticsearch highlevel java rest api-----bboss Elasticsearch 6.3.0 官方新推出的SQL检索插件非常不错,本文一个实际案例来介绍其使用方法。 1.代码中的sql检索 @Testpu...

bboss ⋅ 今天 ⋅ 0

informix数据库在linux中的安装以及用java/c/c++访问

一、安装前准备 安装JDK(略) 到IBM官网上下载informix软件:iif.12.10.FC9DE.linux-x86_64.tar放在某个大家都可以访问的目录比如:/mypkg,并解压到该目录下。 我也放到了百度云和天翼云上...

wangxuwei ⋅ 今天 ⋅ 0

PHP语言系统ZBLOG或许无法重现月光博客的闪耀历史[图]

最近在写博客,希望通过自己努力打造一个优秀的教育类主题博客,名动江湖,但是问题来了,现在写博客还有前途吗?面对强大的自媒体站点围剿,还有信心和可能型吗? 至于程序部分,我选择了P...

原创小博客 ⋅ 今天 ⋅ 0

IntelliJ IDEA 2018.1新特性

工欲善其事必先利其器,如果有一款IDE可以让你更高效地专注于开发以及源码阅读,为什么不试一试? 本文转载自:netty技术内幕 3月27日,jetbrains正式发布期待已久的IntelliJ IDEA 2018.1,再...

Romane ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部