文档章节

阿里巴巴大数据实践之数据建模

小虾米DYX
 小虾米DYX
发布于 2017/08/04 14:28
字数 920
阅读 23
收藏 0

精选30+云产品,助力企业轻松上云!>>>

点击查看全文

 随着DT时代互联网、智能设备及其他信息技术的发展,数据爆发式增长,如何将这些数据进行有序、有结构地分类组织和存储是我们面临的一个挑战。 为什么需要数据建模 如果把数据看作图书馆里的书,我们希望看到它们在书架上分门别类地放置;如果把数据看作城市的建筑,我们希望城市规划布局合理;如果把数据看作电脑文件和文件夹,我们希望按照自己的习惯有很好的文件夹组织方式,而不是糟糕混乱的桌面,经常为找一个文件而不知所措。

随着DT时代互联网、智能设备及其他信息技术的发展,数据爆发式增长,如何将这些数据进行有序、有结构地分类组织和存储是我们面临的一个挑战。

 

为什么需要数据建模

 

如果把数据看作图书馆里的书,我们希望看到它们在书架上分门别类地放置;如果把数据看作城市的建筑,我们希望城市规划布局合理;如果把数据看作电脑文件和文件夹,我们希望按照自己的习惯有很好的文件夹组织方式,而不是糟糕混乱的桌面,经常为找一个文件而不知所措。

 

数据模型就是数据组织和存储方法,它强调从业务、数据存取和使用角度合理存储数据。Linux的创始人Torvalds有一段关于“什么才是优秀程序员”的话:“烂程序员关心的是代码,好程序员关心的是数据结构和它们之间的关系”,其阐述了数据模型的重要性。有了适合业务和基础数据存储环境的模型,那么大数据就能获得以下好处。

 

性能:良好的数据模型能帮助我们快速查询所需要的数据,减少数据的I/O吞吐。

成本:良好的数据模型能极大地减少不必要的数据冗余,也能实现计算结果复用,极大地降低大数据系统中的存储和计算成本。

效率:良好的数据模型能极大地改善用户使用数据的体验,提高使用数据的效率。

质量:良好的数据模型能改善数据统计口径的不一致性,减少数据计算错误的可能性。

 

因此,毋庸置疑,大数据系统需要数据模型方法来帮助更好地组织和存储数据,以便在性能、成本、效率和质量之间取得最佳平衡。

 

 

 

点击查看全文

 

小虾米DYX
粉丝 0
博文 113
码字总数 0
作品 0
海淀
私信 提问
加载中
请先登录后再评论。
大数据计算成都峰会—开启西南大数据新洞察

阿里巴巴大数据计算服务MaxCompute走进西南,邀您共赴成都大数据计算峰会。 现在报名>>> 为进一步满足西南地区的计算需求,阿里云大数据计算服务MaxCompute即将在成都正式开服。云贵川及周边...

晋恒
2018/08/29
0
0
品《阿里巴巴大数据实践-大数据之路》一书(下)

今天继续谈阿里的这本书,包括数据服务平台、数据挖掘平台、数据建模、数据管理及数据应用,希望于你有启示。 1、数据服务平台 数据服务平台可以叫数据开放平台,数据部门产出海量数据,如何...

隐林
2017/08/21
0
0
当大数据邂逅酷暑,谁的热度更高?— 大数据计算杭州峰会圆满落幕

今夏,什么最热?世界杯。。。 除了世界杯还有什么热?杭州的天气。。。 当杭州酷暑遇上大数据,哪个更热? 先不答,往下看。 众所周知,计算的价值绝不止于计算本身,而是让不会说话的数据发...

晋恒
2018/07/17
0
0
Quick BI和Power BI实测比对

https://juejin.im/post/5e4f8ed9f265da576c24c521 摘要: Quick BI和Power BI分别是阿里云和微软云上的官方BI产品,两款产品都是比较好的自助式商业智能软件,都具备云BI的优势,既能够像S...

osc_wl6d9wri
03/19
6
0
大数据计算杭州高端峰会—探寻真正的“大数据,云计算”

阿里巴巴大数据计算服务MaxCompute携手阿里云MVP 邀您共赴杭州大数据计算高端峰会,探寻真正的“大数据,云计算” 现在报名>>> 你也有这些需求和疑惑吗? 如果你在杭州,那就来现场倾听、交流...

晋恒
2018/07/10
0
0

没有更多内容

加载失败,请刷新页面

加载更多

IntelliJ IDEA 默认快捷键大全

Remember these Shortcuts 常用 功能 快捷键 备注 ● Smart code completion Ctrl + Shift + Space - ● Search everywhere Double Shift - ● Show intention actions and quick-fixes Alt......

巨輪
44分钟前
18
0
Hacker News 简讯 2020-07-14

更新时间: 2020-07-14 01:01 I Know What You Download on BitTorrent - (iknowwhatyoudownload.com) 我知道你在BitTorrent上下载了什么 得分:196 | 评论:159 Show HN: Primo – all-in-one......

FalconChen
今天
114
0
绕过移动端系统限制的 dlopen 库 byOpen

byOpen是一个绕过移动端系统限制的增强版dlfunctions库。 支持特性 Android 支持App中加载和使用Android系统库接口(即使maps中还没有被加载也支持)。 Android 7以上dlopen, System.load都是...

shzwork
昨天
31
0
Golang学习系列第二天:变量、常量、数据类型和流程语句

继golang第一天后,今天学习下golang的变量、常量、数据类型和控制流语句。 做过其他编程语言(比如JavaScript,java,python)项目的话,其实很好理解变量、常量、数据类型和控制流。 变量也...

董广明
昨天
48
0
redis系列之——一致性hash算法

一致性hash算法你了解吗?什么时候使用?解决什么问题?redis集群模式使用了一致性hash算法了吗? 数据分片(sharding) 分布式数据存储时,经常要考虑数据分片,避免将大量的数据放在单表或...

诸葛小猿
昨天
15
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部