文档章节

数据仓库实施模式之浅见

 数据分析师
发布于 2014/11/21 10:28
字数 714
阅读 12
收藏 0

题外话:跟数据打交道摸爬滚打有几个年头了,在传统的金融行业干过,互联网行业呢仍在努力中,移动互联网行业也接触了一些,其他行业(的数据分析、数据平台或者数据仓库)也跟小伙伴们在一些群里讨论过,切入正题:下面呢就我所接触的这些行业/项目共同的实施模式抽象一下,总结一下:)

个人的体会是所有企业、公司对数据分析、数据平台、数据仓库实施的模式,泛方向上看都是采用由底向上的模式开始的(PS:什么是由底向上模式可以度娘)。这个如果用后来金博士与因梦大师关于数据仓库建设实施的观点来说的话接近于金博士的先集市再仓库的观点,都先有特定分析需求或特定报表开始,然后再到平台。这个我们可以追溯到最原始的纸质报表时代(自定义为数据分析1.0时代),当时的报表多数是针对某些部门,某些统计数据。再到现在的各分析工具,传统数据仓库/数据平台(2.0时代)也是先做一些部门的数据一些关键指标报表(尤其是互联网公司要先让VPBOSS们先看到效果,要快),然后再规划重构平台,最后到现在的开源数据分析解决方案、数据仓库一体机(基于MPP体系结构的3.0时代),所有这些在统一平台前都是会由一些特定的分析需求或特定报表而先使用,先见效果再来,在尝到了“甜头”之后,对统一数据平台/数据仓库、数据中心的迫切要求就来了,必须得建,得弄了,才会再统一规划重构数据中心、数据平台、数据仓库,这时的实施模式就会由原来的自底向上转变为站在更高的角度下的自顶向下模式了。需要说明的是在自顶向下模式(数据仓库平台)的构建过程中原来的data mart集市将会继续保留。直到平滑过渡 :)

在由自顶向下模式(数据仓库平台)的构建过程中规划是尤为重要的,这个规划包括但不仅仅有平台的定位,技术方案的选型,人员的配备,系统的架构,详细的设计等(下篇会谈下这个)。这里还有要说的一个就是有时我们看重的不仅仅是我们把事情做成的结果,其实我们更注重这个过程。

© 著作权归作者所有

共有 人打赏支持
粉丝 30
博文 1645
码字总数 2338861
作品 0
邢台
私信 提问
胖子哥大数据之路(一)-数据仓库也需要大数据

一、楔子   大数据传统企业实施,其路漫漫,绝不会如昙花一现,探索大数据在传统行业的实施之路,寻找一条适合传统行业的企业大数据实施方法体系,是我执着坚守的信念,大数据是一种信仰,...

张子良
2014/02/12
0
11
胖子哥的大数据之路(三)- 大数据仓库的需求分析该怎么做

一、引言   基于大数据技术构建数据仓库平台,源于大数据技术本身的不成熟和普及度问题,以及辅助工具的缺失,注定了其实施过程与传统数据仓库的差异性,和 更大的实施难度。本文针对大数据...

张子良
2014/02/20
0
0
关于代码仓库simpleplan/wechat的开发规范告同僚书

代码仓库simpleplan/wechat主要实现移动端,多平台的下单,营销活动,功能繁多,于是开发规范是该仓库发展的第一要义。特整理以下几条浅见,如有不妥之处,欢迎指正。 1.公共函数(使用频率两...

masonFei
2016/12/11
1
1
我所经历的大数据平台发展史(上)——非互联网时代

这个数据平台发展史仅是我自己经历过的由传统数据平台到互联网数据平台发展的一些简单回忆,文章引用了历史项目&平台规划架构,在这里不做更深入描述。 我是从2000年开始接触数据仓库,大约0...

李博源
2016/02/18
0
0
胖子哥的大数据之路(二)- 大数据结构化数据存储应用模式

一、楔子   胖子哥是我网名,叫了很多年的网名,网名的来历与自己的沧桑和身材有关,不知是IT改变了我,显得苍老,还 是我本就苍老,顺应了IT行业的需要。25岁那面,曾被跟我一样高的漂亮美...

张子良
2014/02/14
0
0

没有更多内容

加载失败,请刷新页面

加载更多

CSS 选择器参考手册

CSS 选择器参考手册 选择器 描述 [attribute] 用于选取带有指定属性的元素。 [attribute=value] 用于选取带有指定属性和值的元素。 [attribute~=value] 用于选取属性值中包含指定词汇的元素。...

Jack088
今天
1
0
数据库篇一

数据库篇 第1章 数据库介绍 1.1 数据库概述  什么是数据库(DB:DataBase) 数据库就是存储数据的仓库,其本质是一个文件系统,数据按照特定的格式将数据存储起来,用户可以对数据库中的数据...

stars永恒
今天
2
0
Intellij IDEA中设置了jsp页面,但是在访问页面时却提示404

在Intellij IDEA中设置了spring boot的jsp页面,但是在访问时,却出现404,Not Found,经过查找资料后解决,步骤如下: 在Run/Debug Configurations面板中设置该程序的Working Directory选项...

uknow8692
昨天
3
0
day24:文档第五行增内容|每月1号压缩/etc/目录|过滤文本重复次数多的10个单词|人员分组|

1、在文本文档1.txt里第五行下面增加如下内容;两个方法; # This is a test file.# Test insert line into this file. 分析:给文档后增加内容,可以用sed 来搞定;也可以用while do done...

芬野de博客
昨天
3
0
深入理解JVM—JVM内存模型

深入理解JVM—JVM内存模型 我们知道,计算机CPU和内存的交互是最频繁的,内存是我们的高速缓存区,用户磁盘和CPU的交互,而CPU运转速度越来越快,磁盘远远跟不上CPU的读写速度,才设计了内存...

onedotdot
昨天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部