文档章节

企业大数据分析实践指南

勿忘初心321
 勿忘初心321
发布于 2016/12/02 09:54
字数 2779
阅读 14
收藏 1

在我们身处的时代,数据无处不在。据IBM公司估算,人类每天产生约25万ZB的数据,这意味着世界上90%数据都是过去的两年中产生的。Gartner公司分析报告显示,在2015年财富500强的公司中百分之八十五的企业无法利用大数据来获取竞争优势。

 

36大数据

 

数据无处不在

在我们身处的时代,数据无处不在。据IBM公司估算,人类每天产生约2.5万ZB的数据,这意味着世界上90%数据都是过去的两年中产生的。Gartner公司分析报告显示,在2015年财富500强的公司中百分之八十五的企业无法利用大数据来获取竞争优势。

到2020年,全世界将有上百万大数据相关的就业机会产生。这些庞大的数据蕴藏了宝贵财富,企业可以使用最先进的分析技术,利用这些数据更好地了解客户的行为,识别商业机会,制定运营战略。

让我们举几个例子,金融机构每天通过信用评分模型,了解他们的客户在未来12个月内每种信贷产品(抵押贷款、信用卡、分期贷款)上的信用。他们以该信用评分为基础来进行坏帐准备,计算巴塞尔协议II/III规定所需资本金数量,或是制定营销方案(例如根据信用评分调整信用卡额度)。

电信运营商使用最近通话行为数据建立流失模型,估计客户在未来一到三个月流失的可能性。运营商会根据模型得分来制定营销活动,避免有价值的客户流失。Facebook和Twitter会使用社交媒体分析技术进行内容分析和情感语义分析,以便更好地了解品牌认知度,进一步调整产品服务设计。

亚马逊和Netflix等在线零售商不断地分析顾客的购买行为,以决定产品捆绑销售策略,并利用推荐系统为客户下一次购买推荐产品。信用卡公司使用欺诈检测模型,检测付款是否具有欺骗性,是否发生了信用卡盗刷。政府采用数据分析技术来预测逃税行为,优化公共预算分配,分析交通数据提高公共交通效率,分析预测恐怖袭击保障国家安全。

慧都控件网年末大促

化数据为价值

数据是任何分析模型成功的基础。当启动分析项目时,有必要详细列出企业内所有可用于分析的数据。这里的原则就是数据越多越好!因为很多分析模型都能自动决定哪些数据对当前分析很重要,哪些数据可以排除在下一步分析之外。

我们的研究不断印证了这样一个观点:改善分析模型最好的办法,就是投资于你的数据!这可以通过数量和质量两个维度的提升来完成。对于前者,一个关键点是如何整合结构化数据(例如关系数据库)和非结构化数据(如文本),提供全方位综合视角进行客户行为分析,另一个关键点则是在线数据和离线数据的整合,很多企业为这个问题所困扰。

此外企业还可以超越其内部边界,考虑从外部数据供应商那里购买外部数据,以弥补其内部数据的不足。大量的研究表明采用外部数据,对比较和完善分析模型非常有用。虽然数据常常体量巨大,但是数据质量经常是一个痛点。GIGO(garbage in garbage out)的原则在这里非常适用,烂数据只会生成烂模型。

听起来显而易见,然而实践中数据质量往往成为许多分析项目的“阿喀琉斯之踵”。数据质量可以分解成很多维度:准确性、完整性、新近度、一致性等。在大数据分析中,企业必须专门制定数据质量管理方案,设立数据审核员、数据管家或数据质量经理等职位,持续监测数据质量。

数据分析应该从商业问题开始,而不是从具体的技术解决方案开始。但是这带有一丝“鸡生蛋,蛋生鸡”的意味。要解决商业问题、识别商业机会,需要对潜在的技术解决方案有了解。以社交媒体分析为例,只有首先了解分析技术后,公司才能开始思考如何利用它们研究在线品牌认知度,进行趋势监测。为了跨越分析技术和业务之间的鸿沟,持续性培训和学习是关键,它能使企业始终屹立在分析技术的潮头,保持竞争优势。在这一点上,学术界应该深刻检讨,因为现有的很多大数据分析(或数据科学)硕士课程无法满足上述的要求。

将数据转化为洞察力和提升价值的另一个关键点是分析模型的验证。分析模型需要适当的机制和工具来进行审核和验证,越来越多的公司将分析团队拆分成模型开发和模型验证两个团队。良好的公司治理能够在两个团队之间筑起一道防火墙,使得由前一小组开发的模型可以客观和独立地被后者团队评估。

公司甚至可以考虑由外部合作伙伴进行模型验证。通过建立分析基础信息设施,公司能够不断基于现有状况对模型进行评估和验证,提升分析模型性能,抓住更多目标客户。

数据分析往往不是一蹴而就的事情。事实上,当分析模型投入使用时就已经过时了!分析模型总是落后于现实,我们能做的只是保持这种滞后性尽可能小。分析模型所使用的数据,都是在一个特定的时间点和特定的内外部环境条件下采集得到的。

这一特定环境不是静态的,而是随着内部因素(如新战略,不断变化的客户行为)和外部因素(新宏观经济环境和法律法规)不断变化而变化。例如,欺诈检测分析中,欺诈者总是试图不断逃避模型的侦测,以骗取更多的钱财。另一个例子是信用评分模型在很大程度上依赖于当前的宏观经济状况(复苏或是衰退)。因此,分析模型要取得成功创造价值,就必须对内外部环境进行监测,以及时调整或重建模型。

构建底层基础

为了建立一个分析环境,企业需要就所采纳的硬件和软件技术进行选择。

硬件方面,需要专门的基础设施(如Hadoop和相关的软件栈)来清理、整合、存储和管理数据。为了减少支出,企业可能选择云存储,并将大数据作为一种服务。公司在同外部进行数据传输和交换时,应采取适当的谨慎措施,保证数据私密性。

软件方面,很多厂商提供了大数据分析的商业解决方案。目前市场还有很多的开源分析软件(R、weka、Rapidminer),虽然这些开源软件解决方案变得非常流行,但是他们还不够成熟,还不足以很好的处理具有大体量、多样性等特性的大数据。

大数据分析成为越来越多公司的DNA 组成部分,但是政府、金融、医药,每个行业都有自己发展足迹,数据、业务和监管都具有特异性,需要针对不同的基因组成进行不同的设置。因此企业需要的是能提供综合全面垂直业务解决方案的软件,而不是一个跨行业的横向通用软件。

鉴于建立数据分析构架环境的复杂性,公司可能会考虑外包。然而,公司内部数据及其蕴藏的信息是公司最宝贵的战略资产,因此不宜让第三方完全拥有数据访问权。相反,企业应该建立内部分析中心和培养公司人员的分析技能,以服务公司广泛的分析需求,这是公司在管理中应该考虑的问题。

同样公司董事会和高级管理人员都应该参与到分析环境构建中。很多企业还尝试设立首席分析官(CAO)这样的职位,专门负责建立企业范围内的分析环境和基础设施,管理各业务单位分析模型的研发、审核及部署。

最后一点,我们现在看到越来越多的中小型企业开始借助大数据分析。这些公司通常预算有限,因此它们比较中意那些现成的可以直接用于数据分析的现成软件解决方案。比如利用在线分析工具来研究网站的使用现状,优化网站设置、改善网站在搜索引擎排名,并购买付费引擎营销方案。

总结与展望

在文章的结尾之处,我们想再次重申企业进行大数据分析所必须注意的几个问题:

从公司管理的角度来看:

(1)公司应同时关注数据体量和数据质量;

(2)持续学习和培训能填平新分析技术和新商机之间的鸿沟;

(3)分析开发团队应该包括独立的模型开发团队和模型验证团队;

(4)分析并不仅仅是模型开发和验证,还包括模型的监测和回溯测试。

从技术的角度企业应该:

(1)考虑使用云服务来进行大数据分析;

(2)应该关注垂直式行业解决方案,谨慎选择开源软件;

(3)对待外包分析要慎之又慎,最好能在企业内部建立分析环境,并置于高层的管理之下。

慧都控件网年终促销最后一波,全场6折起,豪礼抢不停>>>

截止时间:2016年11月30日

更多大数据与分析相关行业资讯、解决方案、案例、教程等请点击查看>>>

详情请咨询在线客服

客服热线:023-66090381

© 著作权归作者所有

勿忘初心321
粉丝 17
博文 105
码字总数 180970
作品 0
江北
私信 提问
荐书丨Kubernetes权威指南——企业级容器云实战

点击上方“程序人生”,选择“置顶公众号” 第一时间关注程序猿(媛)身边的故事 《Kubernetes权威指南》作者全新力作 直击容器云技术热点和难点 Kubernetes企业级容器云落地实战及指南 在开...

CSDN程序人生
2018/08/26
0
0
人人都是数据分析师,让你的报表更精彩

马云说过:“我们现在正从IT时代走向DT时代。” 这个时代给我们带来很多的机会,数据分析的门槛会逐渐降低,数据分析就像开车,将成为未来必备的技能。 数据分析工作常常是枯燥的。微软Power...

异步社区
2018/08/17
0
0
阿里云MaxCompute 2019-1月刊

亲爱的开发者们,MaxCompute 2019.1月刊为您带来产品最新动态和丰富的产品技术内容,欢迎阅读。 导读 【新视频】精选视频集锦全新上线 【新故事】精选案例集锦全面更新 【新文档】2019年1月M...

晋恒
02/20
0
0
云创大数据获批18个“教育部产学合作协同育人项目”,欢迎各大高校申报!

近日,通过教高司函〔2017〕47号,教育部高等教育司公布了有关企业支持的“产学合作协同育人项目申报指南”(2017年第二批),云创大数据共有18个产学合作项目获批,包括“教学内容和课程体系改...

玄学酱
2018/03/14
0
0
赠书福利丨Kubernetes权威指南第4版

将本篇内容转发至朋友圈,并截图于“京东云开发者社区”公众号后台进行回复。 我们将为第6、16、66、99、106位回复者送出《Kubernetes权威指南(第4版)》。 Kubernetes从一个新生事物发展为...

京东云技术新知
05/24
599
1

没有更多内容

加载失败,请刷新页面

加载更多

redis 内存信息解析

used_memory:由 Redis 分配器分配的内存总量,包含了redis进程内部的开销和数据占用的内存,以字节(byte)为单位 used_memory_rss:向操作系统申请的内存大小。与 top 、 ps等命令的输出一...

Canaan_
35分钟前
4
0
windows 下 python3 安装 pip setuptools

本文链接:https://blog.csdn.net/huzuxing/article/details/80807744 最近在家使用python的时候,总是报setuptools 模块未找到,于是在网上搜索了相关解决办法,但是都没有解决问题。 于是去...

开源中国首席CYO
41分钟前
4
0
数据库添加索引

mysql索引添加 navicat 步骤 - 选择表 -> 设计表 ->索引

以谁为师
51分钟前
6
0
java7与java9中的try-finally关闭资源

1.java7中的try 在java7之前,对于一些需要使用finally关闭资源的操作,会显得很臃肿. try{//}catch(Exception e){//}finally{if(xxxx != null){xxxx.close();}} 在jav...

Blueeeeeee
53分钟前
4
0
字节序转换详解

在跨平台和网络编程中我们经常会提到网络字节序和主机字节序,如果没有正确对两者进行转换,从而导致两方产生了不同的解释,就会出现意想不到的bug。 目录 0x01 概念 0x02 分类 0x03 两种字节...

无心的梦呓
今天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部