文档章节

大数据处理思路

 阿宇_
发布于 2015/08/26 11:34
字数 226
阅读 109
收藏 1

hash算法,最简单除后取余,决定访问哪个表

索引

分表分库

10000条记录分100张表

分表分库程序操作不一样的数据库地址时配多个数据源

做分布式数据库的话可以用阿里那个cobar

mycat一样可以做分片


 不要用 分布式事务
换实现方式
性能太差


 数据库设计好了,一般中型系统完全可以不用分片都能应付了,也就不考虑分布式事务了 


数据量大了,如果不是强一致性的,可以选择nosql

mycate


统计分析,不要用关系型数据库, 用hbase


分库分表后,事务不好控制,也就破坏了关系型数据库的强一致性,如果不在意强一致性,就可以用mongodb代替



© 著作权归作者所有

共有 人打赏支持
粉丝 6
博文 162
码字总数 60181
作品 0
成都
程序员
格智教育:人工智能与大数据的完美结合

人工智能(AI)已经存在几十年了。然而,最近随着“大数据”的出现,它得到了越来越多的关注。维基百科对人工智能的释义如下:   在计算机科学中,人工智能研究的领域将自己定义为“智能代理A...

qq5b1896714045b
06/07
0
0
基于阿里云数加MaxCompute的企业大数据仓库架构建设思路

摘要: 数加大数据直播系列课程主要以基于阿里云数加MaxCompute的企业大数据仓库架构建设思路为主题分享阿里巴巴的大数据是怎么演变以及怎样利用大数据技术构建企业级大数据平台。 本次分享嘉...

阿里云云栖社区
03/15
0
0
下一代大数据即时分析架构――IOTA架构

  【IT168 评论】经过这么多年的发展,已经从大数据1.0的BI/Datawarehouse时代,经过大数据2.0的Web/APP过渡,进入到了IOT的大数据3.0时代,而随之而来的是数据架构的变化。   Lambda架构...

中国大数据
05/18
0
0
四大行的CIO们如何看待大数据

中国建设银行 中国建设银行信息技术管理部资深经理林磊明 1、银行压力越来越大 从十二五走到十三五期间,银行业面临的各方面的压力越来越大,从我们的年报数字可以看出去年四大行的利润增长基...

玄学酱
05/09
0
0
怎么解决数据屏障?杨强教授提出联邦迁移学习

2018中国人工智能大会今天28日在深圳举行。会上,国际人工智能联合会(IJCAI)主席、AAAI/ACM/IEEE Fellow、香港科技大学教授杨强发表了题为《AI面临的挑战和迁移学习所带来的机遇》的演讲,...

技术小能手
07/30
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Confluence 6 反向跟踪

当反向跟踪(Trackback )被启用后,在任何你链接到可用启用自动发现功能的外部页面中,Confluence 将会自动发送一个方向跟踪 ping,这个 ping 能通知链接的页面有了内容改变。 Confluence 页...

honeymose
10分钟前
0
0
日期和时间API - 读《Java 8实战》

日期与时间 LocalDate 创建一个LocalDate对象并读取其值 // 根据年月日创建日期LocalDate date1 = LocalDate.of(2014, 3, 18);// 读取System.out.println(date1.getYear()); // 2014Sys...

yysue
17分钟前
0
0
8月15日任务

8月15日任务 Memcached命令行 • telnet 127.0.0.1 11211 • set key2 0 30 2 ab STORED get key2 VALUE key2 0 2 ab END 实例: [root@localhost 02]# telnet 127.0.0.1 11211-bash: te......

寰宇01
30分钟前
1
0
LNMP架构(Nginx访问日志、Nginx日志切割、静态文件不记录日志和过期时间)

Nginx访问日志 1.打开配置文件,搜索log_format vim /usr/local/nginx/conf/nginx.conf 2.访问日志常用变量含义 $remote_addr : 客户端IP(公网IP) $http_x_forwarded_for : 代理服务器的IP ...

蛋黄_Yolks
30分钟前
0
0
lombok 不用再写pojo的getset

java实体类不写get/set方法 1、下载地址https://projectlombok.org/download Myeclipse、eclipse安装lombok Lombok是一种Java实用工具,可以帮助开发人员消除Java的冗长,具体看lombok的官网...

木之下
37分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部