文档章节

大数据处理思路

 阿宇_
发布于 2015/08/26 11:34
字数 226
阅读 109
收藏 1

hash算法,最简单除后取余,决定访问哪个表

索引

分表分库

10000条记录分100张表

分表分库程序操作不一样的数据库地址时配多个数据源

做分布式数据库的话可以用阿里那个cobar

mycat一样可以做分片


 不要用 分布式事务
换实现方式
性能太差


 数据库设计好了,一般中型系统完全可以不用分片都能应付了,也就不考虑分布式事务了 


数据量大了,如果不是强一致性的,可以选择nosql

mycate


统计分析,不要用关系型数据库, 用hbase


分库分表后,事务不好控制,也就破坏了关系型数据库的强一致性,如果不在意强一致性,就可以用mongodb代替



© 著作权归作者所有

共有 人打赏支持
粉丝 6
博文 164
码字总数 60633
作品 0
成都
程序员
格智教育:人工智能与大数据的完美结合

人工智能(AI)已经存在几十年了。然而,最近随着“大数据”的出现,它得到了越来越多的关注。维基百科对人工智能的释义如下:   在计算机科学中,人工智能研究的领域将自己定义为“智能代理A...

qq5b1896714045b
06/07
0
0
基于阿里云数加MaxCompute的企业大数据仓库架构建设思路

摘要: 数加大数据直播系列课程主要以基于阿里云数加MaxCompute的企业大数据仓库架构建设思路为主题分享阿里巴巴的大数据是怎么演变以及怎样利用大数据技术构建企业级大数据平台。 本次分享嘉...

阿里云云栖社区
03/15
0
0
下一代大数据即时分析架构――IOTA架构

  【IT168 评论】经过这么多年的发展,已经从大数据1.0的BI/Datawarehouse时代,经过大数据2.0的Web/APP过渡,进入到了IOT的大数据3.0时代,而随之而来的是数据架构的变化。   Lambda架构...

中国大数据
05/18
0
0
怎么解决数据屏障?杨强教授提出联邦迁移学习

2018中国人工智能大会今天28日在深圳举行。会上,国际人工智能联合会(IJCAI)主席、AAAI/ACM/IEEE Fellow、香港科技大学教授杨强发表了题为《AI面临的挑战和迁移学习所带来的机遇》的演讲,...

技术小能手
07/30
0
0
[NBOJ0023][Easy Problem]

[题目要求] http://acm.bupt.edu.cn/onlinejudge/newoj/showProblem/showproblem.php?problem_id=23 [题目涉及的相关理论与算法] 位操作与位运算 [题目中需要注意的地方] 就是对于大数据查找...

小弘
2012/10/13
0
0

没有更多内容

加载失败,请刷新页面

加载更多

io流

码农屌丝
12分钟前
0
0
SpringBoot基础篇之重名Bean的解决与多实例选择

更多Spring文章,欢迎点击 一灰灰Blog-Spring专题 当通过接口的方式注入Bean时,如果有多个子类的bean存在时,具体哪个bean会被注入呢?系统中能否存在两个重名的bean呢?如果可以,那么怎么...

小灰灰Blog
22分钟前
0
0
记录一次dubbo项目实战

一、案例说明 存在2个系统,A系统和B系统,A系统调用B系统的接口获取数据,用于查询用户列表。 二、环境搭建 安装zookeeper,解压(zookeeper-3.4.8.tar.gz)得到如下: 然后进入conf将zoo_s...

Java烂猪皮
26分钟前
0
0
拜托,别再问怎么深入学习分布式架构了!

由于分布式系统所涉及到的领域众多,知识庞杂,很多新人在最初往往找不到头绪,不知道从何处下手来一步步学习分布式架构。 本文试图通过一个最简单的、常用的分布式系统,来阐述分布式系统中...

Java架构资源分享
27分钟前
0
0
《netty入门与实战》笔记-05:心跳与空闲检测

本小节,我们一起探讨最后一个话题:心跳与空闲检测 首先,我们来看一下,客户端与服务端之间的网络会存在什么问题? 1. 网络问题 下图是网络应用程序普遍会遇到的一个问题:连接假死 连接假...

Funcy1122
33分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部