文档章节

大数据处理思路

 阿宇_
发布于 2015/08/26 11:34
字数 226
阅读 111
收藏 1

hash算法,最简单除后取余,决定访问哪个表

索引

分表分库

10000条记录分100张表

分表分库程序操作不一样的数据库地址时配多个数据源

做分布式数据库的话可以用阿里那个cobar

mycat一样可以做分片


 不要用 分布式事务
换实现方式
性能太差


 数据库设计好了,一般中型系统完全可以不用分片都能应付了,也就不考虑分布式事务了 


数据量大了,如果不是强一致性的,可以选择nosql

mycate


统计分析,不要用关系型数据库, 用hbase


分库分表后,事务不好控制,也就破坏了关系型数据库的强一致性,如果不在意强一致性,就可以用mongodb代替



© 著作权归作者所有

共有 人打赏支持
粉丝 6
博文 164
码字总数 60633
作品 0
成都
程序员
私信 提问
格智教育:人工智能与大数据的完美结合

人工智能(AI)已经存在几十年了。然而,最近随着“大数据”的出现,它得到了越来越多的关注。维基百科对人工智能的释义如下:   在计算机科学中,人工智能研究的领域将自己定义为“智能代理A...

qq5b1896714045b
06/07
0
0
[NBOJ0023][Easy Problem]

[题目要求] http://acm.bupt.edu.cn/onlinejudge/newoj/showProblem/showproblem.php?problem_id=23 [题目涉及的相关理论与算法] 位操作与位运算 [题目中需要注意的地方] 就是对于大数据查找...

小弘
2012/10/13
0
0
下一代大数据即时分析架构――IOTA架构

  【IT168 评论】经过这么多年的发展,已经从大数据1.0的BI/Datawarehouse时代,经过大数据2.0的Web/APP过渡,进入到了IOT的大数据3.0时代,而随之而来的是数据架构的变化。   Lambda架构...

中国大数据
05/18
0
0
基于阿里云数加MaxCompute的企业大数据仓库架构建设思路

摘要: 数加大数据直播系列课程主要以基于阿里云数加MaxCompute的企业大数据仓库架构建设思路为主题分享阿里巴巴的大数据是怎么演变以及怎样利用大数据技术构建企业级大数据平台。 本次分享嘉...

阿里云云栖社区
03/15
0
0
今天翻了下大数据的说明。哈。。。又要喷hadoop了。。

大数据(英语:Big data[1][2]),或称巨量数据、海量数据、大资料,指的是所涉及的数据量规模巨大到无法通过目前主流软件工具,在合理时间内达到截取、管理、处理、并整理成为帮助企业经营决...

中山野鬼
2013/08/28
3.8K
53

没有更多内容

加载失败,请刷新页面

加载更多

我的Linux系统九阴真经

在今天,互联网的迅猛发展,科技技术也日新月异,各种编程技术也如雨后春笋一样,冒出尖来了。各种创业公司也百花齐放百家争鸣,特别是针对服务行业,新型互联网服务行业,共享经济等概念的公...

linux-tao
11分钟前
0
0
MySQL: Starting MySQL….. ERROR! The server quit without updating PID file

前段时间打包了一个数据库镜像,但是启动容器之后发现报错 ··· ··· MySQL: Starting MySQL….. ERROR! The server quit without updating PID file 查了网络上的解决方案比较全,遂转帖...

blackfoxya
13分钟前
0
0
C4C销售订单行项目价格维护方法

需求很简单,能够创建销售订单,在行项目里添加产品,带出价格来,同时把总价显示在销售订单抬头区域。 如下图所示: 下面是具体配置。 Business Configuration里,点击Sales Order的配置: ...

JerryWang_SAP
55分钟前
11
0
deepin中配置robot framework环境

本文永久更新地址:https://my.oschina.net/bysu/blog/2989005 【若要到岸,请摇船:开源中国 不最醉不龟归】 1.在终端中输入pip,回车,如果提示没有该命令,则先安转pip sudo apt-get inst...

不最醉不龟归
今天
9
0
OSChina 周日乱弹 —— 钱不还,我就当你人不在了

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @莱布妮子 :分享Bigleaf的单曲《小鹿》 《小鹿》- Bigleaf 手机党少年们想听歌,请使劲儿戳(这里) 周日在家做什么? 做手工呀, @poorfis...

小小编辑
今天
228
5

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部