文档章节

数据库分库分表

o
 osc_pn11u1x9
发布于 2018/08/06 10:01
字数 1535
阅读 0
收藏 0
  1. 对数据库进行分库分表的原因 超大容量: 数据表是超大表,数据库处理能力达到极限; 数据库包含多个超大表。 性能问题: 单一服务器性能有限 升级扩展: 单一主库无法灵活地进行升级和扩展,无法满足业务快速发展的需求 所有业务数据都放在同一个库中,存在单点故障风险。

  2. 数据库拆分 将表按照业务拆分到不同的数据库服务器上,同时针对大表进行分表处理,从而解决单一数据库和数据表过大及IO服务连接数和IO读写上的瓶颈。 常见的拆分方法有:垂直拆分、水平拆分、垂直水平拆分

  3. 垂直拆分 垂直分库:根据业务耦合性,将关联度低的不同表存储在不同的数据库。做法与大系统拆分为多个小系统类似,按业务分类进行独立划分。与"微服务治理"的做法相似,每个微服务使用单独的一个数据库。 垂直分表:基于数据库中的"列"进行,某个表字段较多,可以新建一张扩展表,将不经常用或字段长度较大的字段拆分出去到扩展表中。在字段很多的情况下(例如一个大表有100多个字段),通过"大表拆小表",更便于开发与维护,也能避免跨页问题,MySQL底层是通过数据页存储的,一条记录占用空间过大会导致跨页,造成额外的性能开销。另外数据库以行为单位将数据加载到内存中,这样表中字段长度较短且访问频率较高,内存能加载更多的数据,命中率更高,减少了磁盘IO,从而提升了数据库性能。 优点:(1)解决业务系统层面的耦合。(2)业务清晰与微服务的治理类似,也能对不同业务的数据进行分级管理、维护、监控、扩展等。(3)高并发场景下,垂直切分一定程度的提升IO、数据库连接数、单机硬件资源的瓶颈。 缺点:(1)部分表无法join,只能通过接口聚合方式解决,提升了开发的复杂度。(2)分布式事务处理复杂。(3)依然存在单表数据量过大的问题(需要水平切分)。

  4. 水平拆分 水平切分分为库内分表和分库分表,是根据表内数据内在的逻辑关系,将同一个表按不同的条件分散到多个数据库或多个表中,每个表中只包含一部分数据,从而使得单个表的数据量变小,达到分布式的效果。 优点:(1)不存在单库数据量过大、高并发的性能瓶颈,提升系统稳定性和负载能力.(2)应用端改造较小,不需要拆分业务模块。 缺点:(1)跨分片的事务一致性难以保证.(2)跨库的join关联查询性能较差.(3)数据多次扩展难度和维护量极大。 水平切分后同一张表会出现在多个数据库/表中,每个库/表的内容不同。几种典型的数据分片规则为: 1)根据数值范围 按照时间区间或ID区间来切分。例如:按日期将不同月甚至是日的数据分散到不同的库中;将userId为1~9999的记录分到第一个库,10000~20000的分到第二个库,以此类推。某种意义上,某些系统中使用的"冷热数据分离",将一些使用较少的历史数据迁移到其他库中,业务功能上只提供热点数据的查询,也是类似的实践。 这样的优点在于:(1)单表大小可控。(2)天然便于水平扩展,后期如果想对整个分片集群扩容时,只需要添加节点即可,无需对其他分片的数据进行迁移。(3)使用分片字段进行范围查找时,连续分片可快速定位分片进行快速查询,有效避免跨分片查询的问题。 缺点:热点数据成为性能瓶颈。连续分片可能存在数据热点,例如按时间字段分片,有些分片存储最近时间段内的数据,可能会被频繁的读写,而有些分片存储的历史数据,则很少被查询。 2)根据数值取模 一般采用hash取模mod的切分方式,例如:将 Customer 表根据 cusno 字段切分到4个库中,余数为0的放到第一个库,余数为1的放到第二个库,以此类推。这样同一个用户的数据会分散到同一个库中,如果查询条件带有cusno字段,则可明确定位到相应库去查询。 优点:数据分片相对比较均匀,不容易出现热点和并发访问的瓶颈 缺点:(1)后期分片集群扩容时,需要迁移旧的数据(使用一致性hash算法能较好的避免这个问题)(2)容易面临跨分片查询的复杂问题。比如上例中,如果频繁用到的查询条件中不带cusno时,将会导致无法定位数据库,从而需要同时向4个库发起查询,再在内存中合并数据,取最小集返回给应用,分库反而成为拖累。

  5. 分库分表带来的问题

  6. 进行分表 经过计算,将数据分到6个表中,保证在5~6年内不需要继续进行分表。 分表后使用静态常量定义查询、插入等SQL语句,表名使用replace()方法进行替换 设计开关,将开关状态存入redis中,通过改变状态控制读取旧表或者新表

o
粉丝 0
博文 500
码字总数 0
作品 0
私信 提问
加载中
请先登录后再评论。

暂无文章

在云函数 SCF 里为 Next.js 跑 SSR

很多时候我们都希望首屏速度快,SEO 友好,那么相比于客户端渲染,SSR 渲染将是这方面的优势。Next.js、Nuxt.js 都是 SSR 框架。本篇文章将介绍 Next.js。 通常我们在部署 SSR 的时候,会担心...

腾讯云Serverless
34分钟前
19
0
一文带你初窥软件测试行业

三大原始问题一——软件测试是什么? 在一定条件下对软件系统进行审核、运行、评估,检验软件系统是否满足规定需求或者找出预期结果与实际结果之间的差别。为软件产品的质量和评价提供依据。...

a伟正是在下
42分钟前
17
0
如何避免APK文件的反向工程? - How to avoid reverse engineering of an APK file?

问题: I am developing a payment processing app for Android, and I want to prevent a hacker from accessing any resources, assets or source code from the APK file. 我正在开发适用......

富含淀粉
44分钟前
13
0
python 抓取 微信公众号文章

1、下载 Fiddler 安装 具体操作传送门 2、第一步已完成,入门开始吧 首先确保有微信客户端(推荐PC,移动端会多一些操作) 启动微信、Fiddler ,然后找到需要抓取的公众号(还是关注一下吧,...

acclea
今天
9
0
JS深拷贝

let arr1 = [1, 2, 3, 4, { name: 'hh'}]/浅克隆****/// 1,展开运算符let arr2 = [...arr1]// 2.splicelet arr3 = arr1.splice(0)/深克隆****/// 1.基...

何祯粮
今天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部