大数据处理思路
博客专区 > 阿宇_ 的博客 > 博客详情
大数据处理思路
阿宇_ 发表于2年前
大数据处理思路
  • 发表于 2年前
  • 阅读 98
  • 收藏 1
  • 点赞 0
  • 评论 0
摘要: 大数据处理思路

hash算法,最简单除后取余,决定访问哪个表

索引

分表分库

10000条记录分100张表

分表分库程序操作不一样的数据库地址时配多个数据源

做分布式数据库的话可以用阿里那个cobar

mycat一样可以做分片


 不要用 分布式事务
换实现方式
性能太差


 数据库设计好了,一般中型系统完全可以不用分片都能应付了,也就不考虑分布式事务了 


数据量大了,如果不是强一致性的,可以选择nosql

mycate


统计分析,不要用关系型数据库, 用hbase


分库分表后,事务不好控制,也就破坏了关系型数据库的强一致性,如果不在意强一致性,就可以用mongodb代替



共有 人打赏支持
粉丝 7
博文 147
码字总数 60122
×
阿宇_
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: