文档章节

大数据处理思路

 阿宇_
发布于 2015/08/26 11:34
字数 226
阅读 109
收藏 1
点赞 0
评论 0

hash算法,最简单除后取余,决定访问哪个表

索引

分表分库

10000条记录分100张表

分表分库程序操作不一样的数据库地址时配多个数据源

做分布式数据库的话可以用阿里那个cobar

mycat一样可以做分片


 不要用 分布式事务
换实现方式
性能太差


 数据库设计好了,一般中型系统完全可以不用分片都能应付了,也就不考虑分布式事务了 


数据量大了,如果不是强一致性的,可以选择nosql

mycate


统计分析,不要用关系型数据库, 用hbase


分库分表后,事务不好控制,也就破坏了关系型数据库的强一致性,如果不在意强一致性,就可以用mongodb代替



© 著作权归作者所有

共有 人打赏支持
粉丝 6
博文 146
码字总数 60181
作品 0
成都
程序员
格智教育:人工智能与大数据的完美结合

人工智能(AI)已经存在几十年了。然而,最近随着“大数据”的出现,它得到了越来越多的关注。维基百科对人工智能的释义如下:   在计算机科学中,人工智能研究的领域将自己定义为“智能代理A...

qq5b1896714045b ⋅ 06/07 ⋅ 0

基于阿里云数加MaxCompute的企业大数据仓库架构建设思路

摘要: 数加大数据直播系列课程主要以基于阿里云数加MaxCompute的企业大数据仓库架构建设思路为主题分享阿里巴巴的大数据是怎么演变以及怎样利用大数据技术构建企业级大数据平台。 本次分享嘉...

阿里云云栖社区 ⋅ 03/15 ⋅ 0

下一代大数据即时分析架构――IOTA架构

  【IT168 评论】经过这么多年的发展,已经从大数据1.0的BI/Datawarehouse时代,经过大数据2.0的Web/APP过渡,进入到了IOT的大数据3.0时代,而随之而来的是数据架构的变化。   Lambda架构...

中国大数据 ⋅ 05/18 ⋅ 0

四大行的CIO们如何看待大数据

中国建设银行 中国建设银行信息技术管理部资深经理林磊明 1、银行压力越来越大 从十二五走到十三五期间,银行业面临的各方面的压力越来越大,从我们的年报数字可以看出去年四大行的利润增长基...

玄学酱 ⋅ 05/09 ⋅ 0

挡不住的大数据 | 盘点八大国家大数据综合试验区,你知道几个?

国家发展和改革委员会主任徐绍史公开表示,我国的大数据发展势头迅猛,正加速融入经济社会各个领域。 为贯彻落实国务院《促进大数据发展行动纲要》,2015年9月,贵州启动全国首个大数据综合试...

miao君 ⋅ 2017/05/19 ⋅ 0

阿里巴巴杜跃进:大数据发展要满足老百姓的“安全感”

以“数化万物 智在融合”为年度主题的2018中国国际大数据产业博览会(简称“数博会”)近期在贵阳召开。在大数据产业发展的过程中,安全是基础,数博会上安排了多场跟大数据安全相关的论坛和...

技术小能手 ⋅ 06/20 ⋅ 0

大数据分析的下一代架构--IOTA

IOTA是什么?你是否为下一代大数据架构做好准备? 经过这么多年的发展,已经从大数据1.0的BI/Datawarehouse时代,经过大数据2.0的Web/APP过渡,进入到了IOT的大数据3.0时代,而随之而来的是数...

果树啊 ⋅ 05/02 ⋅ 0

大数据入门需要具备的能力与素质

一、大数据分析的五个基本方面 1、可视化分析 大数据分析的使用者有大数据分析专家,同时还有普通用户,但是他们二者对于大数据分析最基本的要求就是可视化分析,因为可视化分析能够直观的呈...

小欣妹妹 ⋅ 02/01 ⋅ 0

北京供销大数据集团探索数据中心运维“新趋势”

2017年3月28日,以“突破·重塑”为主题的2017年数据中心设施论坛(北京站)在北京万达索菲特酒店召开。本次大会由中国互联网协会数据中心运营工作组主办,聚焦数据中心行业热点话题,旨在为...

玄学酱 ⋅ 04/16 ⋅ 0

大妈也能看懂的大数据分布式计算图解

作者介绍 卢亮,资深软件研发工程师,擅长业务系统建模与架构分析,在分布式架构和大数据技术方面有深入的理论研究和实践经验。 个人博客:www.leonlu.cc 本文是一篇科普性质的文章,希望能通...

卢亮 ⋅ 05/24 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

CentOS7克隆后网卡配置问题

首先默认第一台虚拟机网卡信息为: TYPE="Ethernet" BOOTPROTO=static DEFROUTE="yes" PEERDNS="yes" PEERROUTES="yes" IPV4_FAILURE_FATAL="no" #IPV6INIT="yes" #IPV6_AUTOCONF=“yes” #I......

北岩 ⋅ 今天 ⋅ 0

Guava EventBus源码解析

一、EventBus使用场景示例 Guava EventBus是事件发布/订阅框架,采用观察者模式,通过解耦发布者和订阅者简化事件(消息)的传递。这有点像简化版的MQ,除去了Broker,由EventBus托管了订阅&...

SaintTinyBoy ⋅ 今天 ⋅ 0

http怎么做自动跳转https

Apache 版本 如果需要整站跳转,则在网站的配置文件的<Directory>标签内,键入以下内容: RewriteEngine on RewriteCond %{SERVER_PORT} !^443$ RewriteRule ^(.*)?$ https://%{SERVER_NAME......

Helios51 ⋅ 今天 ⋅ 0

Python爬虫,抓取淘宝商品评论内容

作为一个资深吃货,网购各种零食是很频繁的,但是能否在浩瀚的商品库中找到合适的东西,就只能参考评论了!今天给大家分享用python做个抓取淘宝商品评论的小爬虫! 思路 我们就拿“德州扒鸡”...

python玩家 ⋅ 今天 ⋅ 0

MySQL 内核深度优化

MYSQL数据库适用场景广泛,相较于Oracle、DB2性价比更高,Web网站、日志系统、数据仓库等场景都有MYSQL用武之地,但是也存在对于事务性支持不太好(MySQL 5.5版本开始默认引擎才是InnoDB事务...

java高级架构牛人 ⋅ 今天 ⋅ 0

用户登录信息-钉子效果(基于jquery2.0)

本js效果使用jquery2.0,清晰的分解用户登录信息的(钉子效果),该效果直接用在作者网站(www.phpkhbd.com)上。 里面的难点有:定时器,延时。 大致效果如下: 一开始: 鼠标放上去的时候:...

宁哥实战课堂 ⋅ 今天 ⋅ 0

expect

官网:https://core.tcl.tk/expect/index Introduction Expect is a tool for automating interactive applications such as telnet, ftp, passwd, fsck, rlogin, tip, etc. Expect really m......

刀锋 ⋅ 今天 ⋅ 0

为什么要学习Typescript???

简单来说 目前的typescript就是未来的javascript 为什么?? 这要从ECMA-262标准的第4版说起 对了 我们说的ES5 其实是ECMAScript3.1这个替代性建议被扶正了而已... 那么 第4版标准是什么? 看看...

hang1989 ⋅ 今天 ⋅ 1

linux安装ipfs

一、下载ipfs # cd /usr/local/ipfs/ # wget https://dist.ipfs.io/go-ipfs/v0.4.15/go-ipfs_v0.4.15_linux-amd64.tar.gz # tar -zxvf go-ipfs_v0.4.15_linux-amd64.tar.gz 二、安装ipfs # ......

八戒八戒八戒 ⋅ 今天 ⋅ 0

jvm程序执行慢诊断手册

生产环境最多的几种事故之一就是程序执行慢,如果是web服务的话,表现就是响应时间长。本文分享,从业多年形成的排查守则。 诊断步骤 系统资源查看 首先是系统资源查看,而且必须是在第一步。...

xpbob ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部