文档章节

数据质量

cccyb
 cccyb
发布于 2016/04/20 08:46
字数 2372
阅读 30
收藏 1
点赞 1
评论 0

数据管理和数据治理有很多地方是互相重叠的,它们都围绕数据这个领域展开,因此这两个术语经常被混为一谈。


此外,每当人们提起数据管理和数据治理的时候,还有一对类似的术语叫信息管理和信息治理,更混淆了人们对它们的理解。关于企业信息管理这个课题,还有许多相关的子集,包括主数据管理、元数据管理、数据生命周期管理等等。


于是,出现了许多不同的理论(或理论家)描述关于在企业中数据/信息的管理以及治理如何运作:它们如何单独运作?它们又如何一起协同工作?是“自下而上”还是“自上而下”的方法更高效?


为了帮助大家弄明白这些术语以及它们之间的关系,本文将着重定义它们的概念,并指出它们的区别,这些定义和区别源自于国际公认的以数据为中心的相关组织,同时还会在一些观点上展开详细的探讨。


数据管理包含数据治理


在说明数据和信息的区别之前,最好从“治理是整体数据管理的一部分”这个概念开始,这个概念目前已经得到了业界的广泛认同。数据管理包含多个不同的领域,其中一个最显著的领域就是数据治理。CMMi协会颁布的数据管理成熟度模型(DMM)使这个概念具体化。DMM模型中包括六个有效数据管理分类,而其中一个就是数据治理。数据管理协会(DAMA)在数据管理知识体系(DMBOK)中也认为,数据治理是数据管理的一部分。在企业信息管理(EIM)这个定义上,Gartner认为EIM是“在组织和技术的边界上结构化、描述、治理信息资产的一个综合学科”。Gartner这个定义不仅强调了数据/信息管理和治理上的紧密关系,也重申了数据管理包含治理这个观点。


治理与管理的区别


在明确数据治理是数据管理的一部分之后,下一个问题就是定义数据管理。治理相对容易界定,它是用来明确相关角色、工作责任和工作流程的,确保数据资产能长期有序地、可持续地得到管理。而数据管理则是一个更为广泛的定义,它与任何时间采集和应用数据的可重复流程的方方面面都紧密相关。例如,简单地建立和规划一个数据仓库,这是数据管理层面的工作。定义谁以及如何访问这个数据仓库,并且实施各种各样针对元数据和资源库管理工作的标准,这是治理层面的工作。数据管理更广泛的定义包含DATAVERSITY上大部分主题为数据管理的文章和博客,其中有一部分是特别针对数据治理的。一个更广泛的定义是,在数据管理过程中要保证一个组织已经将数据转换成有用信息,这项工作所需要的流程和工具就是数据治理的工作。


信息与数据的区别


在上文关于数据管理的第三个定义中,提到了数据和信息的区别。所有的信息都是数据,但并不是所有的数据都是信息。信息是那些容易应用于业务流程并产生特定价值的数据。要成为信息,数据通常必须经历一个严格的治理流程,它使有用的数据从无用数据中分离出来,以及采取若干关键措施增加有用数据的可信度,并将有用数据作为信息使用。数据的特殊点在于创造和使用信息。在Gartner的术语表中,没有单独解释数据管理和数据治理的概念,取与代之的是重点介绍了信息治理和信息管理的概念。


数据治理主要围绕对象:角色


与正式的数据治理流程相关的角色是有限的。这些角色通常包括高层的管理者,他们优化数据治理规划并使资金筹集变得更为容易。这些角度也包括一个治理委员会,由个别高层管理者以及针对治理特定业务和必要流程而赋予相应职责的跨业务部门的人组成。角色也包括数据管理员,确保治理活动的持续开展以及帮忙企业实现业务目标。此外,还有部分“平民”管理员,他们虽然不会明确被指定为数据管理员,但他们仍然在各自业务领域里的治理流程中扮演活跃的角色。


有效的治理不仅需要IT的介入,这是人们的普遍共识。尤其当业务必须更主动地参与到治理方式和数据管理其他层面(例如自助数据分析)的时候,目的是要从这些工作参与中获益。在更多的案例中,特定领域的治理可以直接应用于业务。这就是为什么治理仅需要IT的介入是一个过时且应该摈弃的观点。


数据治理主要围绕对象:领域


数据治理包含许多不同方面的领域:


元数据:元数据要求数据元素和术语的一致性定义,它们通常聚集于业务词汇表上。


业务词汇表:对于企业而言,建立统一的业务术语非常关键,如果这些术语和上下文不能横跨整个企业的范畴,那么它将会在不同的业务部门中出现不同的表述。


生命周期管理:数据保存的时间跨度、数据保存的位置,以及数据如何使用都会随着时间而产生变化,某些生命周期管理还会受到法律法规的影响。


数据质量:数据质量的具体措施包括数据详细检查的流程,目的是让业务部门信任这些数据。数据质量是非常重要的,有人认为它不同于治理,它极大提升了治理的水平。


参考数据管理:参考数据提供数据的上下文,尤其是它结合元数据一起考虑的情况下。由于参考数据变更的频率较低,参考数据的治理经常会被忽视。


虽然上述提及的是数据治理在数据管理中所负责的特定领域,但一个至关重要的问题在于,所有组织里的数据必须持续坚持数据治理的原则。


数据建模


数据建模是依赖于数据治理的另一个数据管理中的关键领域,它结合了数据管理与数据治理两者进行协调工作。可以说,为了将数据治理扩展到整个组织,利用一个规范化的数据建模有利于将数据治理工作扩展到其他业务部门。遵从一致性的数据建模,令数据标准变得有价值(特别是应用于大数据)。一个确保数据治理贯穿整个企业的最高效手段,就是利用数据建模技术直接关联不同的数据治理领域,例如数据血缘关系以及数据质量。当需要合并非结构化数据时,数据建模将会更有价值。此外,数据建模加强了治理的结构和形式。


关键的不同点


数据管理其他方面的案例在DMM中有五个类型,包括数据管理战略、数据质量、数据操作(生命周期管理)、平台与架构(例如集成和架构标准),以及支持流程(聚集于其他因素之中的流程和风险管理)。在此重申一点,数据治理和数据管理非常接近是有事实支撑的,数据质量经常被视为与数据治理相结合,甚至被认为是数据治理的产物之一。也许,情景化这两个领域的最好办法,在于理解数据治理是负责正式化任何数据管理当中的流程,数据治理本身着重提供一整套工具和方法,确保企业在实际上治理这些数据。虽然数据治理是数据管理中的一部分,但后者必须要由前者来提供可靠的信息到核心业务流程。


© 著作权归作者所有

共有 人打赏支持
cccyb
粉丝 30
博文 251
码字总数 22231
作品 1
西安
高级程序员
数据挖掘之数据预处理

1. 结构化数据的特征 结构化数据特性 2. 常见数据集类型 数据集类型 3. 数据预处理的流程 预处理流程 4. 数据质量 数据挖掘过程中 数据质量 对运行结果至关重要。 由于数据挖掘使用的数据常常...

七八音 ⋅ 2017/12/27 ⋅ 0

项目管理学习干货分享

IT项目管理作为项目管理的子集,建议先看一些项目管理的书籍作为基础。基础类:《项目管理:计划.进度和控制的系统方法》,无论是否IT项目。IT和软件类:《项目管理修炼之道》、《IT项目管理》...

让往事随风 ⋅ 2016/04/11 ⋅ 0

大数据购车指南:汽车质量哪家强?

(转载请联系微信:xiaosworld) 雨潇君新建立了一个名为“数据实验室”的微信公众号和知乎专栏,那总得写点什么。最近雨潇君想买辆车,就琢磨着写个“大数据购车指南三部曲”:《汽车质量哪...

沈雨潇 ⋅ 2015/09/01 ⋅ 0

数据质量提升必经之路

随着数据量日益剧增,企业决策比以往更需要具备强大的信息管理和掌控能力,协助解决关键问题;若要提升企业竞争优势,必须随时掌握企业内的准确信息,如何去解决数据质量问题是一条必经之路。...

勿忘初心321 ⋅ 2016/08/11 ⋅ 0

关于驰骋工作流引擎工作质量考核需求\设计\实现\配置\应用

关于驰骋工作流引擎工作质量考核 需求设计实现配置应用 关键字: ccflow 工作质量考核 时效考核 需求背景: 我们把在工作流程引擎中的考核分为两种模式,一种是时效考核、另外一种是质量考核。...

ccflow ⋅ 2013/04/06 ⋅ 1

加米谷大数据带你了解2018年五个大数据热门岗位

  数据质量决定了数据对业务的内在价值。信息技术只是这个内在价值的放大镜。因此,高质量的数据与有效的技术相结合是一项巨大的资产,但低质量的数据与有效的技术相结合也是一项巨大的责任...

加米谷大数据 ⋅ 05/24 ⋅ 0

数据质量管理方案--Bark

模型驱动的数据质量服务平台 Bark是eBay开发的一种应用于分布式数据系统中的开源数据质量解决方案,例如在Hadoop, Spark, Storm等分布式系统中,Bark提供了一整套统一的流程来定义、测量数据...

匿名 ⋅ 2016/08/25 ⋅ 0

阿里云MVP Meetup 《云数据·大计算:海量日志数据分析与应用》之《数据质量监控》篇

实验涉及大数据产品 大数据计算服务 MaxCompute 大数据开发套件 DataWorks 实验环境准备 必备条件: 开通大数据计算服务MaxCompute 创建大数据开发套件项目空间 进入大数据开发套件,创建Dat...

dataworks彭敏 ⋅ 05/21 ⋅ 0

数据质量和数据治理为什么重新引起关注?

数据质量和数据治理为什么重新引起关注? 原文: DataQuality and Data Governance: A Resurgence of Interest and Future Maturity 来源: http://www.dataversity.net/data-quality-data-go......

tw6cy6ukydea86z ⋅ 04/23 ⋅ 0

【数据分析·实战】北京的雾霾是大风吹走的吗

前言 2013年9月,国务院专门出台治理大气污染的条例,王安顺代表北京市与中央签订责任状,立下壮士断腕的决心。“也是生死状,因为中央领导说,2017年实现不了空气治理就‘提头来见’。既是玩...

防潮同学 ⋅ 2017/01/25 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

那些证书相关的玩意儿(SSL,X.509,PEM,DER,CRT,CER,KEY,CSR,P12等)

之前没接触过证书加密的话,对证书相关的这些概念真是感觉挺棘手的,因为一下子来了一大堆新名词,看起来像是另一个领域的东西,而不是我们所熟悉的编程领域的那些东西,起码我个人感觉如此,且很长...

颖辉小居 ⋅ 14分钟前 ⋅ 0

利用有限制通配符提升API灵活性(28)

1、参数化类型是不可变的 List<String> 不是List<Object>的子类,但是二者是有联系的 利用有限制的通配符类型处理类似情况 List<? extends Object>(生产者) Collection<? super E>(消费者......

职业搬砖20年 ⋅ 20分钟前 ⋅ 0

ssm框架 +bootstrap分页

这里有两种方式 方式一:自己写分页 方式二:使用插件PageHelper 1.自己写分页 1.1 效果 1.2 实现过程 1.2.1 创建分页公共类 //---------------------------1.属性-------------------------...

Lucky_Me ⋅ 27分钟前 ⋅ 0

Istio

helm template install/kubernetes/helm/istio --name istio --namespace istio-system > $HOME/istio.yaml after $ kubectl create namespace istio-system$ kubectl create -f $HOME/ist......

openthings ⋅ 27分钟前 ⋅ 0

内核线程、轻量级进程、用户线程

线程与进程概念 在现代操作系统中,进程支持多线程。 进程是资源管理的最小单元; 线程是程序执行的最小单元。 即线程作为调度和分配的基本单位,进程作为资源分配的基本单位 一个进程的组成...

117 ⋅ 32分钟前 ⋅ 0

elasticsearch2.4.6升级为elasticsearch-5.5.0的经历

将elasticsearch-5.5.0 中的配置 path.data 指向原来的数据路径 即 path.data: /usr/local/src/elasticsearch-2.4.6/data 注意: elasticsearch-5.5.0 需要将jdk版本升级到1.8...

晨猫 ⋅ 33分钟前 ⋅ 1

lvm讲解 磁盘故障小案例

1

oschina130111 ⋅ 37分钟前 ⋅ 0

那些提升开发人员工作效率的在线工具

本文转载自公众号 Hollis 作为一个Java开发人员,经常要和各种各样的工具打交道,除了我们常用的IDE工具以外,其实还有很多工具是我们在日常开发及学习过程中要经常使用到的。 Hollis偏爱使用...

时刻在奔跑 ⋅ 49分钟前 ⋅ 0

restful风格 实现DELETE PUT请求 的web.xml的配置

import org.springframework.beans.factory.annotation.Autowired; import org.springframework.http.HttpStatus; import org.springframework.http.ResponseEntity; import org.springframe......

泉天下 ⋅ 54分钟前 ⋅ 0

Shell数组

Shell数组 Shell在编程方面比Windows批处理强大很多,无论是在循环、运算。 bash支持一维数组(不支持多维数组),并且没有限定数组的大小。类似与C语言,数组元素的下标由0开始编号。获取数...

蜗牛奔跑 ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部