文档章节

大数据时代的质量观

灵玖lingjoin
 灵玖lingjoin
发布于 2015/01/26 14:32
字数 1150
阅读 3
收藏 0

2012年2月,美国《纽约时报》发表了一篇主题为“大数据时代”的文章,称大数据时代已经来临,数据分析大师们正在获得更多发展机遇。


大数据是全球新型工业化进程的必然产物,与计算机科学技术的发展息息相关。所谓大数据,一般是指规模巨大的数据集,这些数据由于存储量和结构规模庞大,无法用现有的软件系统和统计模型进行分析和处理,无法完成数据的撷取、分类、关联和趋势等方面的分析,更难以达到数据分析运用于经营和管理等方面的目的。从统计学的角度来看,大数据包含四个基本特点:一是数据的体量庞大,从TB级别跃升到PB级别;二是数据的种类繁多,甚至打破我们对于常规统计量的认识;三是价值密度较低而商业价值较高;四是数据处理的速度快。


大数据的出现对质量科学的影响非常巨大和深远,这里探讨的质量观,一般是指人们对于质量的基本看法和观点,可以看成是一种质量科学领域的世界观。大数据背景下的质量观关系到我们对于质量科学未来发展的基本方向的认同,也会引起我们对于当前质量科学技术的思考和改进。


首先,大数据是面向质量过程的总体数据,而不再局限于随机样本。质量科学的进步最为内在的动力就是数理统计方法,其中抽样技术是最核心的方法之一。随机抽样是当代质量管理技术最重要的手段和方法,也是六西格玛管理和质量改进的重要技术特征。对于一个完整的工业过程而言,我们几乎可以收集到全部的总体数据。而大数据无法使用常规的统计软件和工具完成计算和分析,因此即便是收集到的全部统计数据,我们也几乎无法完成预定的质量管理和数据分析任务,需要借助专门的海量数据挖掘和云计算技术。这就出现了一个矛盾,即面向总体质量统计的大数据资源理论上可以满足一切质量管理的需要,但质量管理实践中却无法实现常规的统计分析和监控,因为数据量过于庞大。这个矛盾的解决方案存在很多争议,一个基本的共识就是允许一定误差的抽样方法仍然是未来一段时期内最有效率和最为公平的质量管理方法。


其次,大数据倾向于混杂计算的标准,而不是像以前一样精确。精确建模和计算是统计时代的产物,也是演绎逻辑的顶峰。在数据相对匮乏的年代,我们总是要求一切统计数据都要精确。但在大数据时代的数据,混杂而不精确性未必是缺点,而可能是一个亮点。接收数据的混杂性,必须承认一些基本的事实和想法。一是当数据量以几何级数增加的时候,降低数据容差可以获得更多的数据信息;二是要想获得大规模数据带来的好处,混杂应该是一种标准途径而不是竭力避免的;三是要认识到大数据的简单算法比小数据的复杂算法更有效。


最后,大数据分析更关注相关关系,而不是因果关系。传统的质量管理方法尤其注重因果逻辑,总是希望通过实验设计或者统计模型来描述事物之间的关系,而且这种关系是有因果逻辑支持的,很多质量改进技术都是在因果问题上做文章,用精确的数据模拟真实的质量生产过程,从而得到精确的结论。但大数据分析的主流研究成果相对更加注重“效果逻辑”,只强调数据之间存在的相关关系,而不管这种关系在实践中如何产生。

 

© 著作权归作者所有

灵玖lingjoin
粉丝 85
博文 2884
码字总数 4069557
作品 0
东城
私信 提问
B12大会 第二届万物互联创新大会

B12大会|第二届万物互联创新大会|创业下一潮:大数据与智能时代将于11月13日在杭州召开。第二届万物互联创新大会会议规模:1500人! 参会须知 名称:B12大会|第二届万物互联创新大会|创业...

活动家
2016/09/26
1
0
医改需利用好大数据 用AI让诊疗更定制、便利

7月2日,经观刊载了一篇医保相关的文章《美国医改的“知行合一”》,仔细阅读后,感受颇深。一直以来,社会上流传着这么一种说法,那就是出国旅游千万不能生病,有个段子就说:在美国不能做什...

软件达人
2018/07/09
14
0
优酷世界杯高清直播背后,一场技术升级内容产业的浪潮

6月16日凌晨,葡萄牙与西班牙的世界杯大战最终以3:3的总比分精彩收场,将本届世界杯推向了又一个观赛高潮,因为根据优酷“进球就下红包雨”活动规则,仅这一场比赛优酷就连下6场红包雨,有网...

优小酷
2018/06/17
0
0
2018第二届数据质量管理国际峰会(DQMIS2018)

活动背景 在大数据时代, 数据质量问题成为影响数据分析和利用效能的“最后一公里”问题, 是困扰许多大数据公司和企业在拓展其大数据战略不可回避的问题。目前在数据治理领域, ETL, 数据分...

JOE-HE
2018/08/03
19
0
2018第二届数据质量管理国际峰会(DQMIS2018)

活动背景 在大数据时代, 数据质量问题成为影响数据分析和利用效能的“最后一公里”问题, 是困扰许多大数据公司和企业在拓展其大数据战略不可回避的问题。目前在数据治理领域, ETL, 数据分...

JOE-HE
2018/08/03
5
0

没有更多内容

加载失败,请刷新页面

加载更多

golang-字符串-地址分析

demo package mainimport "fmt"func main() {str := "map.baidu.com"fmt.Println(&str, str)str = str[0:5]fmt.Println(&str, str)str = "abc"fmt.Println(&s......

李琼涛
今天
4
0
Spring Boot WebFlux 增删改查完整实战 demo

03:WebFlux Web CRUD 实践 前言 上一篇基于功能性端点去创建一个简单服务,实现了 Hello 。这一篇用 Spring Boot WebFlux 的注解控制层技术创建一个 CRUD WebFlux 应用,让开发更方便。这里...

泥瓦匠BYSocket
今天
6
0
从0开始学FreeRTOS-(列表与列表项)-3

FreeRTOS列表&列表项的源码解读 第一次看列表与列表项的时候,感觉很像是链表,虽然我自己的链表也不太会,但是就是感觉很像。 在FreeRTOS中,列表与列表项使用得非常多,是FreeRTOS的一个数...

杰杰1号
今天
8
0
Java反射

Java 反射 反射是框架设计的灵魂(使用的前提条件:必须先得到代表的字节码的 Class,Class 类 用于表示.class 文件(字节码)) 一、反射的概述 定义:JAVA 反射机制是在运行状态中,对于任...

zzz1122334
今天
5
0
聊聊nacos的LocalConfigInfoProcessor

序 本文主要研究一下nacos的LocalConfigInfoProcessor LocalConfigInfoProcessor nacos-1.1.3/client/src/main/java/com/alibaba/nacos/client/config/impl/LocalConfigInfoProcessor.java p......

go4it
昨天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部