文档章节

胖子哥的大数据之路(二)- 大数据结构化数据存储应用模式

张子良
 张子良
发布于 2014/02/14 12:39
字数 1019
阅读 395
收藏 12

一、楔子

  胖子哥是我网名,叫了很多年的网名,网名的来历与自己的沧桑和身材有关,不知是IT改变了我,显得苍老,还 是我本就苍老,顺应了IT行业的需要。25岁那面,曾被跟我一样高的漂亮美眉叫叔叔,从此再也不敢打小姑娘的注意,走上了重口味热爱阿姨级别女性的不归 路;曾被三十五、六岁的同事阿姨说苍老:看你也就三十五六吧,那年我25;周一的时候,还有一个60后的同事问及我的年龄,他很含蓄的,明显带着保留的口 吻问我:你是75年的吧?因为他一直认为和我一般大。然后...然后泪奔。关于体型方面也是个悲剧、三围相等,体重大于身高的角色,算是已经胖出了一定层 次,每次听到别人叫我胖子,就感觉小小的自尊多少受到了伤害,然后就给自己在后面加了一个哥子,算是给自己遮半张脸吧。闲话就聊到这里,还是继续胖子哥的 大数据之路吧,这次要谈的还是数据仓库。

二、实时查询数据库-HDFS&HBase

  传统关系型数据库基于存储模式的问题带来的存储和访问瓶颈,是无法靠自身解决的,也就有了基于Big-Table型的NoSQL数据库用武之地,比较典型技术组合就是HDFS+HBase, 利用HDFS的分布式、高可用数据存储,结合HBase面向列的数据存储模型,从而解决大数据量存储的问题;结合HBase基于Rowkey自然序的存 储,从而实现海量数据快速查询。当然这种模式只适用于结构型数据,而且只适用于历史数据查询,而不适用于事务型业务的处理,从而产生了大数据在结构化数据存储方面的第一种模式:实时查询数据库;

三、大数据仓库-HDFS&Hive

  基于关系型数据库的数据仓库,同样面临数据存储规模的问题,因此在银行业务中,同样也只能存储短期的数据,其目标在在于支持基于业务年度的报表统计和业务分析,而对于超过一定期限的数据仍然在走数据磁盘或磁带存储的模式。基于大数据技术体系,采用HDFS+Hive的模式,构建大数据仓库,则可以很轻松的解决数据大基数存储的问题。从而产生了大数据在结构化数据数据存储方面的第二种模式:大数据仓库;

四、替换还是互补-大家来回答,期待你的答案

  问题一

  实时查询数据库能否替换实时操作数据库吗?

  问题二

  大数据仓库可以替代数据仓库吗?

五、关于大数据题外话  

  曾经就干货与湿货的问题,与人发生过争辩,还是不淡定了。其实对于一个口渴的人,水就是干货,同样,对于一个迷路的人,指南针就是干货。见仁见智的事,不再做争辩。重在分享,送给大数据传统企业应用实施的探路者们,送给需要的人,立此存照。

  持续更新中,未完待续。。。。

  下期预告:大数据仓库项目的需求分析该如何去做。敬请期待。


© 著作权归作者所有

张子良

张子良

粉丝 47
博文 14
码字总数 36118
作品 1
丰台
项目经理
私信 提问
加载中

评论(0)

胖子哥的大数据之路(四)- VisualHBase功能需求框架

一、引言   大数据在结构化数据存储方面的应用需求越来越明确,但是大数据环境下辅助开发工具的不完善,给数据库管理人员和开发人员带来的不变难以言表,基 于此创建了开源项目VisualHBase...

张子良
2014/02/20
155
0
智慧生活云端实践之路

一、活动介绍 云计算和大数据 ,智能硬件、软件的发展,为我们的智慧生活提供了无限可能。 如何围绕垂直行业思考计算与互联的价值对每件事情的影响,把握下一个时代的脉搏,在百家争鸣的物联...

jiang123meidi
2016/03/03
429
0
智慧生活云端实践之路

一、活动介绍 云计算和大数据 ,智能硬件、软件的发展,为我们的智慧生活提供了无限可能。 如何围绕垂直行业思考计算与互联的价值对每件事情的影响,把握下一个时代的脉搏,在百家争鸣的物联...

jiang123meidi
2016/03/03
5
0
Java软件开发者,如何学习大数据?(了解一下)大数据的前世今生

Java软件开发者,如何学习大数据? 最近有不少初学者来问到,学习大数据,学习spark,公司主要使用那些语言编写,每听到这一个问题,起码还是很不错的,证明你已经开始学习大数据了,并了解大...

董黎明
2018/06/05
28
0
一文梳理大数据四大方面十五大关键技术

大数据关键技术涵盖从数据存储、处理、应用等多方面的技术,根据大数据的处理过程,可将其分为大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘等环节。本文针对大数据的关键技...

董黎明
2018/06/27
58
0

没有更多内容

加载失败,请刷新页面

加载更多

USB Type-C的基本原理

1 USB Type-C的基本原理 1.1 基本特性 Figure 1-1 USB Type-C接头外形 USB Type-C(简称USB-C)的基本特性: 1. 接口插座的尺寸与原来的Micro-USB规格一样小,约为8.3mm X 2.5mm 2. 可承受1...

osc_jklrr90y
24分钟前
30
0
浅谈STM32串口通信(一)基本介绍和一个字节传输的实现

文章目录 0 传输引脚 1 传输一个字节 1.1 发送一个字节 1.2 接收一个字节 2 代码 2.1 配置 2.2 发送一个字节 2.3 接收一个字节 0 传输引脚 串口收发共需要三根线 其中,TX脚为发送引脚, RX脚为...

osc_bzc91lgy
25分钟前
25
0
CubeMX STM32H7配置FreeRTOS

(RTOS笔记1)CubeMX STM32H7配置FreeRTOS 软硬件版本信息: CubeMX配置 1.选择芯片的型号 2.配置时钟(Clock Configuration) 3.配置FreeRTOS的时基定时器(将在RTOS笔记2中介绍),用TIM2作为...

osc_61miaq6u
26分钟前
15
0
使用RT-Thread 系统实现DIY数字仪表(四)——同步网络时间

目录: 1.使用RT-Thread 系统实现DIY数字仪表(一)——STM32CUBMX5.6移植touchGFX4.13 2.使用RT-Thread 系统实现DIY数字仪表(二)——把TouchGFX移植到RTThread系统 3.使用RT-Thread 系统实...

osc_d8v3gwtb
27分钟前
32
0
jdk8新特性之七 Nashorn JavaScript

引言 Nashorn 一个 javascript 引擎。 从JDK 1.8开始,Nashorn取代Rhino(JDK 1.6, JDK1.7)成为Java的嵌入式JavaScript引擎。Nashorn完全支持ECMAScript 5.1规范以及一些扩展。它使用基于JSR...

阿丹博客-adanblog
27分钟前
28
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部