文档章节

大数据面临的挑战复杂艰巨

灵玖lingjoin
 灵玖lingjoin
发布于 2015/01/21 15:46
字数 1168
阅读 3
收藏 0

“未来的信息世界是"三分技术,七分数据",得数据者得天下。”在近日于北京召开的大数据与数据科学进展主题论坛上,中国工程院院士陈鲸表示,继实验科学、理论科学、计算机科学之后,以大数据为代表的数据密集型科学将成为人类科学研究的第四大范式。


“大数据中蕴藏着关乎社会动向、市场变化、科技发展、国家安全的重要战略资源。”陈鲸认为,大数据会为国内处理器芯片自主研发行业提供重大机遇,也会有更多应用数据技术的新兴公司和经营模式出现。


不过,虽然大数据的前景灿烂,但在陈鲸看来,其面临的挑战也非常复杂和艰巨。


首先便是数据的异构性和不完备性。陈鲸解释说,大数据来源多样,且越来越多地分散在不同的管理系统中。据不完全统计,目前采集的数据85%以上是非结构化和半结构化数据,因此不能用已有的简单数据结构来描述。而传统关系数据库又无法高效处理这些复杂数据结构表示的数据。数据的不完备性主要是指所获取的大数据常常包含一些不完整信息和错误数据。因此,在进行大数据分析处理之前,必须对这种数据的不完备性进行有效处理。


另一个严峻挑战便是大数据处理的时效性。随着时间的流逝,大数据中所蕴涵的知识价值也随之衰减,其价值与时效性密切相关。陈鲸表示,一般数据样本量越大,分析处理时间会越长,但在许多情况下,大数据用户要求立即获得数据分析结果。这就要求为复杂结构的数据建立合适的索引结构,并要求索引结构的设计简单、高效,且在数据模式发生变化时能很快进行适应性调整。


陈鲸也提到了大数据应用中的安全与隐私保护问题。“据当前所掌握的资料分析:人们在互联网上的一言一行,基本上都掌握在互联网商家手中。例如,淘宝知道用户的购物偏好,腾讯知道用户的好友联络情况,百度知道用户的检索习惯等。而目前,中国还没有专门的法律法规来界定用户隐私。”另外,“如何在大数据环境下确保信息共享的安全性?如何为用户提供更为精细的数据共享安全控制策略?这些问题都值得深入研究”。


高能耗则是陈鲸关注的制约大数据快速发展的另一个瓶颈。据2012年的资料显示:谷歌数据中心的年电功率约为3亿瓦,Facebook为6000万瓦左右。最令人惊讶的是,在这些巨大能耗中,实际只有6%~12%的能量是真正用于响应用户查询请求的,绝大部分电能则是被用来确保系统服务器处于正常待机状态,以应对突如其来的用户查询网络流量高峰。


对此,陈鲸建议,可以考虑采用新型低功耗硬件以及建立计算核心与二级缓存的直通通道,从应用、编译器、体系结构等多方面协同优化,另外就是引入可再生新能源。


陈鲸还谈到了大数据管理易用性方面的挑战,“复杂的分析过程和难以理解的分析结果会制约各行各业从大数据中获取知识的能力”。他认为,大数据分析结果的可视化呈现,将是大数据管理易用性方面要解决的重要问题。


陈鲸同时强调,我国亟待提出适合国情的大数据发展战略和技术路线。“大数据研发计划是抢占信息技术发展制高点的重大举措,将解决数据爆炸性增长带来的管控和利用难题,同时改进对大数据的获取、管理、挖掘和利用能力,实现数据到知识、知识到决策、决策到行动的快速转化,推动人类社会进一步向智能化迈进。”

 



© 著作权归作者所有

灵玖lingjoin
粉丝 85
博文 2884
码字总数 4069557
作品 0
东城
私信 提问
云计算技术学习,云计算企业发展的4大挑战

IDG(美国国际数据集团)在其大数据和分析调查报告中,确定了企业大数据业务发展的4大挑战。 1、数据分析和管理人才的短缺 大数据系统的发展速度如此之快,新的工具、功能和框架在几个月内就...

长沙千锋
2018/05/02
0
0
优化公共资产管理,构建智能城市

随着我国对智慧城市的不断探索与实践,运用大数据构建城市综合管理平台,实现数据化智能化的城市管理,能更好地提升城市基础设施的运作效率以及城市运行管理和公共服务水平。而城市的公共基础...

玄学酱
2018/04/23
0
0
谷歌发布AI测序工具,可以根据基因组对症下药

  15 年前,科学家首次对人类基因组进行测序;如今,解码人类生命机密的大量数据仍旧是一项艰巨的挑战。幸运的是,机器学习最擅长的就是解决这类问题。      周一,谷歌发布了一个名为...

DeepTech深科技
2017/12/06
0
0
中科院院士梅宏:大数据对计算体系带来的挑战以及应对策略丨数博会2019

在贵州举办的2019年数博会吸引了国内外各界目光,围绕大数据最新技术创新与成就,诸多学界、产业界、政界人士纷纷参与交流。在5月25日的“5G+大数据推动智慧社会数字化转型论坛”上,中科院院...

王刚
05/26
0
0
U.E.D企业家能力拓展日丨论DT时代的公有云服务可用性

各位亲爱的OSChina的伙伴们: 对于创客们,这是最好的时代,也是最坏的时代。资 本市场的热火朝天,媒体圈的推波助澜让无数创业团队如雨后春笋般涌现;面对如火如荼的竞争,初创企业如何率先...

UCloud
2014/11/28
288
0

没有更多内容

加载失败,请刷新页面

加载更多

新架构、新角色:TiDB Community Upgrade!

作者:Jian Zhang 经过几年的发展,TiDB 社区已经逐渐成熟,但是随着社区的发展壮大,我们逐渐感受到了现在社区架构上的一些不足。经过一系列的思考和总结,我们决定升级和调整目前社区组织架...

TiDB
32分钟前
6
0
jquery qrcode库提示not function

jquery qrcode 这个库能用,但是必须在初始化的时候,官方给的使用方法是 引入qrcode的库文件后,在js中写以下 html <div id="qrcode"></div> js jQuery('#qrcode').qrcode({ render: ......

shikamaru
36分钟前
14
0
MySQL数据库去重的简单方案

利用 distinct 对需要处理的字段进行去重 select distinct 字段名 from 表名 利用group by select * from 表名 group by 字段名 利用having select * from 表名 group by 字段名 having 字段...

FeanLau
39分钟前
9
0
字符串转换成整数

实现一个 atoi 函数,使其能将字符串转换成整数。 首先,该函数会根据需要丢弃无用的开头空格字符,直到寻找到第一个非空格的字符为止。 当我们寻找到的第一个非空字符为正或者负号时,则将该...

蔚蓝_晴天
50分钟前
8
0
Eureka客户端续约及服务端过期租约清理源码解析

在之前的文章:EurekaClient自动装配及启动流程解析中,我们提到了在构造DiscoveryClient时除了包含注册流程之外,还调度了一个心跳线程: scheduler.schedule( new Ti...

Java学习录
今天
10
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部