文档章节

大数据的5个“小观点 ”(转)

超人学院
 超人学院
发布于 2016/06/16 17:02
字数 2050
阅读 65
收藏 2

小观点1:大数据的信息熵值低

1948年,香农提出信息熵的概念,可以用于表述信息的价值,信息熵高的言简意赅,信息熵低的冗余拖沓。目前,很多大数据的来源都是一些系统的Log,图片,视频等。特别是日志系统数据,数据越来越多,越来越大,其中大部分是固定模板的数据,区分度差,信息量并没有随着数据的增加而线性增加。另外举个例子,之前我们使用胶卷照片的,我们会选择重要的场景,珍惜每一个照片,设计好角度和光圈,现在有数据相机了,内存近乎无限大了,大家肆无忌惮的自拍,哪怕都是同一个角度,大家照的废片也是一把一把的。同一类型的数据多了,信息熵也就降低了。
 

小观点2:大数据不是银弹,是蚂蚁效应

大数据应用常见,多见于推荐系统,业务流程优化,医疗,性能优化,预测,金融交易等,这些业务在传统的做法上,已经十分依赖于数据了,虽然以前不叫大数据,但是也都是数据驱动的业务。数据的规模和种类增多,处理方法的增多,会渐渐提高这些应用的精准性,这种提高一定是渐渐的,一点一滴的。也许一天两天感觉不错来的,但是经过多年的持续改进,这种效果是显而易见的。

举个例来说,语音识别起始于60年代,基于小型词汇库,在90年代,IBM推出的ViaVoice是语音识别的一个里程碑,基于复杂隐式马尔科夫模型(HMM)或者神经网络算法更加成熟,数据也是基于大量的词汇库,语料库。新闻联播曾经就是ViaVoice中文版本的重要训练语库。虽然用了更大的语料库,效果有改进,但是还无法达到实用的程度。2009年以后,借助于互联网语料库的进一步丰富,数据料的增长,远远超过算法的改进程度。语音识别在准确性和实用性得到很大的提升,用户也不断使用语音识别反馈更多的数据。以至于,谷歌公司人工智能方面的专家彼得·诺维格(Peter Norvig) ,和他的同事在一篇题为《数据的非理性效果》(The Unreasonable Effectiveness of Data)的文章中写道,“大数据基础上的简单算法比小数据基础上的复杂算法更加有效。”。大数据正在一步一步的解决一些科技应用难题,例如自动驾驶,人工智能等。
 

小观点3:大数据不解释因果关系,只关心相关性

《大数据时代》中定义了大数据的第三个特征,“不是因果关系,而是相关关系”。沃尔玛通过数据挖掘,发现蛋挞和飓风产品有很多关联性,并且放在一起销售提高销售量。没有人清楚其中的因果关系,当然,也可能有人牵强的解释,美国人喜欢飓风时期躲在家里吃蛋挞,通过数据我们获得了相关性,但是却不理解其中因果关系。我突然想起来自于《三体》的降维攻击:很多时候我们在二维世界的相关性,是无法在二维世界进行解释因果的,也许只有在三维或者多维世界才能够解释因果关系,而这种因果关系无法直接理解,只能进行归纳成相关关系。

小观点4:大数据资源公司最佳变现是被收购,而后是广告和征信

很多专业大数据服务公司的发展都不走上市之路(注意不包括大数据技术公司),因为他们对于变现的能力和可持续性都有很多顾虑,他们也面临高风险的用户隐私挑战,因此很多大数据资源公司的PR工作,远远多于具体落地的数据服务工作。因此,各个专业大数据公司都忙于各种行业洞察报告和排行榜,数据可视化的工作一个比一个炫丽,一个比一个追热点。谈到大数据公司的变现,很多公司会提到“数据服务”,实际上数据服务的市场相对稳定,并没有因为大数据公司的发展而市场膨胀,因此“数据服务”实际上是一个明显的“僧多粥少”的状态,另外老牌的数据公司,例如Nielson等在客户方便还是有一定的优势。

收购成为大数据公司变现最佳方式,2014年Oracle收购BlueKai获得很多众互联网用户数据,BlueKai的数据来源于和很多小网站进行数据交换和购买,尼尔森公司收购了DMP公司eXelate,eXelate的数据来源各个合作伙伴的数据,它提供了数据共享和交换的平台,创建DMP支持广告优化投放。 2014年,农业技术公司孟山都宣布以9.3亿美元巨资收购意外天气保险公司Climate Corporation. Climate Corporation是一家分析历史天气数据的公司,如降雨和土地质量等来帮助农民预测作物产量。在中国阿里巴巴收购友盟也是觊觎数据资源。

既然数据服务不容易攒钱,那么有没有靠谱的变现途径呢?从目前来说,广告和泛征信是两个最有效的变现渠道,效果广告的精确投放,品牌广告主需要强烈的数据背书,这些都需要数据服务,因此在广告行业专业的DMP公司,对于程序化交易是必不可少的。另外,就是征信系统,金融的本质是一个套信用系统,这就是为什么各大互联网公司都早早进入金融业务。目前很多P2P公司是否能够生存,主要依据就是风险控制,大数据是重要技术支持,因此很多P2P会采购大量数据资源,加强自己的征信系统。
 

小观点5:大数据是对用户隐私的汲取

大数据正在结合智能设备的普及而大力推进,例如摄像头,手机,智能穿戴设别等。 其中,大量用户隐私数据被收集,例如用户地址,交易数据,搜索数据,用户的地理位置信息,用户的脉搏,联系人列表等等。这些都是用户的个人数据,各大数据公司都通过改善服务为借口,获得用户的授权,而进行隐私的汲取和偷窥。

也有一种声音,这些数据是为了让你享受更好的服务。这里面也是很多逻辑问题。首先,服务商提供更好的服务,并不代表可以收集用户的隐私数据;其次,很多公司不提供不收集用户隐私数据的服务的选项,这让很多用户无法选择禁止用户隐私数据收集,这是一种利用市场地位的垄断和霸王条款;而后,所有数据公司没有提供数据清理功能,删除用户所有的历史数据。这意味着,你的隐私数据一旦被收集,可以被无限次的无范围的滥用。

结束语

好了今天先谈这么多,大数据很忽悠,小观点也不一定靠谱,兼听则明,偏信则暗。希望大家在大数据的雾霾里面找到自己的新鲜空气。

 

了解更多详情请登录超人学院网站http://www.crxy.cn?sxy或者关注超人学院微信号:CRXY-CN

本文转载自:https://yq.aliyun.com/articles/54431

超人学院
粉丝 114
博文 335
码字总数 388917
作品 0
昌平
CTO(技术副总裁)
私信 提问
浅层次理解《促进大数据发展行动纲要》

国务院印发《促进大数据发展行动纲要》,明确提出要推动大数据与云计算、物联网、移动互联网等新一代信息技术融合发 展,探索大数据与传统产业协同发展的新业态、新模式,促进传统产业转型升...

visio2000
2018/08/24
0
0
大数据时代:网络数据与科学的时代

这两个词最早出现是在上世纪90年代。按照当时的解释,大科学时代主要是指单打独斗的时代结束了,要搞集团军式的科研。也有一种说法是,要把学科的范围向外扩张,扩到所有有关的学科论题范围内...

bingdata123
2018/04/13
0
0
哈,喷下喷程序员偏激的言论

哈,有感于“说程序员偏执,面试时不应该偏执”的言论。喷喷这个言论。 有种观点,大意是说,认为程序员不要太偏执,要善于听取意见。这个观点其实针对绝大多数专业人士。不单单是说程序员。...

中山野鬼
2013/11/10
579
14
2016全域大数据应用论坛11位嘉宾核心观点

2016中国互联网大会最受关注的大数据应用论坛再次由【友盟+】承办,本届论坛更专注“大数据应用落地和效果”。会上,十余位企业领袖及大数据专家分享了当下大数据应用的案例及经验,为行业从...

玄学酱
2018/05/22
0
0
郭全中:对大数据的认识该正本清源

近几年,大数据已广泛应用到互联网舆情、互联网营销、内容分发、互联网金融、人工智能、智慧城市建设等领域。然而,在大数据高速发展的同时,也出现鱼龙混杂、忽悠盛行的不良现象:有些机构和...

玄学酱
2018/04/13
0
0

没有更多内容

加载失败,请刷新页面

加载更多

JMM内存模型(一)&volatile关键字的可见性

在说这个之前,我想先说一下计算机的内存模型: CPU在执行的时候,肯定要有数据,而数据在内存中放着呢,这里的内存就是计算机的物理内存,刚开始还好,但是随着技术的发展,CPU处理的速度越...

走向人生巅峰的大路
13分钟前
24
0
你对AJAX认知有多少(2)?

接着昨日内容,我们几天继续探讨ajax的相关知识点 提到ajax下面几个问题又是必须要了解的啦~~~ 8、在浏览器端如何得到服务器端响应的XML数据。 通过XMLHttpRequest对象的responseXMl属性 9、 ...

理性思考
22分钟前
4
0
正则表达式基础(一)

1.转义 转义的作用: 当某个字符在表达式中具有特殊含义,例如字符串引号中出现了引号,为了可以使用这些字符本身,而不是使用其在表达式中的特殊含义,则需要通过转义符“\”来构建该字符转...

清自以敬
25分钟前
4
0
idea中@Data标签getset不起作用

背景:换电脑以后在idea中有@data注解都不生效 解决办法:idea装个插件 https://blog.csdn.net/seapeak007/article/details/72911529...

栾小糖
31分钟前
4
0
Apache Kudu 不能删除不存在的数据

使用Apache Kudu客户端,对KafkaConnect Sink 进行扩展。 使用的Apache Kudu 的Java 客户端。突然有天发现作业无法提交,一直报错。 后来才发现这是Kudu自身的一种校验机制。为了忽略这种校验...

吐槽的达达仔
41分钟前
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部