文档章节

现代数据管理的难点

牧师-Panda
 牧师-Panda
发布于 2017/06/08 15:29
字数 601
阅读 42
收藏 0

问题

总的来说,所有的问题都离不开容量效率扩展性这三个方面的瓶颈。其中容量又与可扩展性息息相关。

容量

容量瓶颈是最直观的问题,随着数据量的不断增加,总有一天会超越其设计极限。因此无论采用的是OLTP数据生产系统还是采用OLAP数据仓库系统,一般都会设计存放固定时限的在线数据。

效率

效率瓶颈也是明显的 ,对传统的数据库管理系统来讲,如果所管理的数据量增大了,即使我们要访问的局部数据实体的量并没有变化,也会导致效率下降。这个很容易理解,最常见的情况就是全表扫描。更不用说哪些在数据量很大的时候,几乎无法正常工作的算法,例如企业的ODS系统中经常遇到的大表merge运算。

扩展性

扩展瓶颈是指现有的数据管理工具与手段无法平滑方便地适应数据量的急剧增加,一般情况下,在扩容达到上限时,我们不得不进行昂贵、复杂、耗时、费力的更新换代工程。但是这样的手段也是治标不治本,仅能应付一段时间。

治理方向

针对上述情况,现代数据管理的目标应该针对以下几个方面:

海量数据的容纳能力

现在动辄都是PB级别,并且海量并不仅仅指的数量,更针对的是各种类型的数据,这一点的衡量标准,可以与水平可扩展性相关联。

多类型,多结构

大数据时代,企业关心的已经不仅仅是原有的业务数据,一些随之而来的交互数据也要考虑进来。譬如传感器的机器数据,应用日志,文本文件等等。这些数据大都是半结构/非结构化的。也就是说,现代数据管理应该支持包括结构化,半结构化,非结构化等多种类型数据的管理需求。

高负载,高可用,高可靠

数据量大了,更讲究实时性以及可用性,譬如淘宝网,不用多讲。

© 著作权归作者所有

牧师-Panda
粉丝 33
博文 146
码字总数 180044
作品 0
浦东
私信 提问
数据组织的自我学习将在2018年兴起

  Ramon Chen是Reltio公司的首席产品官,他对2018年的数据管理的发展趋势进行了分析与预测。   1.2018年将是人工智能和机器学习的一年:在过去的几年里,人们一直在预测企业使用人工智能...

大数据头条
2018/01/10
0
0
Red Hat 收购混合云数据管理提供商 NooBaa,IBM 受益

27 日,Red Hat 发布公告宣布收购混合云数据管理提供商 NooBaa。 NooBaa 成立于 2013 年,它的业务主要是开发用于跨混合云和多云环境管理数据存储服务的软件。作为一个混合云/多云数据管理能...

h4cd
2018/11/28
781
1
Commvault助力企业抵御勒索软件的蔓延

当下,勒索软件像病毒一样向全球蔓延。以手机勒索软件伪列,据统计,2015年全年中国超过11.5万部用户手机被感染,2016年第一季度中国接近3万部用户手机被感染。每个勒索软件的解锁费用通常为...

玄学酱
2018/05/24
0
0
Commvault 宣布任命王波为大中华区总经理

企业数据保护及信息管理全球领导者Commvault近期宣布任命王波为大中华区总经理,负责Commvault在中国大陆、台湾以及香港市场数据保护及信息管理业务的总体运营。 Commvault公司亚太及日本区副...

玄学酱
2018/05/21
0
0
携程瘫痪非偶然 国内互联网企业漠视数据管理

携程瘫痪非偶然 国内互联网企业漠视数据管理   今天上午11:09,携程网遭受不明攻击导致官方网站及APP暂时无法正常使用,携程首页挂出通知,建议用户选择艺龙旅行网。   而今日下午17时许...

开元中国2015
2015/05/29
199
0

没有更多内容

加载失败,请刷新页面

加载更多

rime设置为默认简体

转载 https://github.com/ModerRAS/ModerRAS.github.io/blob/master/_posts/2018-11-07-rime%E8%AE%BE%E7%BD%AE%E4%B8%BA%E9%BB%98%E8%AE%A4%E7%AE%80%E4%BD%93.md 写在开始 我的Arch Linux上......

zhenruyan
今天
5
0
简述TCP的流量控制与拥塞控制

1. TCP流量控制 流量控制就是让发送方的发送速率不要太快,要让接收方来的及接收。 原理是通过确认报文中窗口字段来控制发送方的发送速率,发送方的发送窗口大小不能超过接收方给出窗口大小。...

鏡花水月
今天
10
0
OSChina 周日乱弹 —— 别问,问就是没空

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @tom_tdhzz :#今日歌曲推荐# 分享容祖儿/彭羚的单曲《心淡》: 《心淡》- 容祖儿/彭羚 手机党少年们想听歌,请使劲儿戳(这里) @wqp0010 :周...

小小编辑
今天
1K
11
golang微服务框架go-micro 入门笔记2.1 micro工具之micro api

micro api micro 功能非常强大,本文将详细阐述micro api 命令行的功能 重要的事情说3次 本文全部代码https://idea.techidea8.com/open/idea.shtml?id=6 本文全部代码https://idea.techidea8....

非正式解决方案
今天
5
0
Spring Context 你真的懂了吗

今天介绍一下大家常见的一个单词 context 应该怎么去理解,正确的理解它有助于我们学习 spring 以及计算机系统中的其他知识。 1. context 是什么 我们经常在编程中见到 context 这个单词,当...

Java知其所以然
昨天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部