文档章节

数据分析繁华的背后,都隐藏着怎样的哀伤

openfea
 openfea
发布于 2017/11/07 10:42
字数 1944
阅读 35
收藏 0

大数据技术的核心是什么?

面对这个问题,相信大家都会回答是大数据分析系统。

大数据分析系统从海量类型多样、增长快速、内容真实的数据背后挖掘、分析,从中找出可以帮助决策的价值信息,未知的单方/双方/多方关系,并结合用户需求有针对性地进行调整和优化。

今天,大数据分析系统已然扎根于各行各业,对信息安全、社会经济生活、民生等起着十分重要的作用。但是,在它繁荣兴盛的背后,又存在着哪些无奈呢?我们一起来梳理一下。

一、系统组件太多,孤岛情况突出,运维和安全成本太高

目前,很多大数据分析系统的架构是这样的。

第一层,数据采集与整合层,由双向/单向数据同步系统、分布式消息总线Kafka、数据集成系统ETL组成。

第二层,大数据存储与分析层,由分布式文件系统、分布式数据库系统作为存储组件,开源大数据计算框架Spark、Storm等作为分析工具。

第三层,服务与接口层,部署SOA架构的服务总线系统以及大数据工具的集合。

第四,应用层,由各类自主研发的UI应用系统构成。

这种系统架构就像一个拼接的魔方,它既庞大又复杂。

IT资源种类及其数量不断增多,网络形态更加复杂。一方面给运维工作带来巨大的压力和挑战,另一方面在实现数据资源共享和挖掘潜在价值方面,也暴露出包含大量敏感和重要信息的数据资源被泄露和非法利用的风险。

二、无法深度融合人工智能AI与商业智能BI的优势

目前,市面上优秀的大数据分析系统比较多,可以将其划分为两类:

第一类,以MapReduce和Spark计算框架等为代表的高性能分析系统,以各种高性能处理算法、智能搜索与挖掘算法等为主要研究内容,也是大数据分析的研究主流。

第二类,以大数据可视化分析(isual analytics of big data)为主要代表(比如,Tableau),主要以人机交互为主,强调以人作为分析主体,结合各类精美的可视化图表进行分析。

可见,第一类系统侧重于AI,第二类系统侧重于BI,他们各有特色,但并未深入的相互融合。

 

虽然,目前一些商业智能系统已开始整合AI功能,但并未深入融合AI技术,因此难以全面地支持人工智能。同时,大数据本身的新特点和多元化的用户分析需求,也对AI与BI提出了更为迫切的需求与更加严峻的挑战。

三、非轻量级交互式编程语言,学习成本高且不利于交互分析

数据分析是一项需要具备较高的知识与技能的工作,除了要熟悉行业知识,掌握数学和统计学的方法外,还需要掌握一门分析编程语言才能驾驭大规模的海量数据!

常用的可编程分析语言有R语言、Spark、MATLAB等。这此语言由变量、赋值语句、表达式、控制语句等构成指令序列,有比较复杂的保存和编译过程。

第一,无法逐句执行,不能执行一条输出一个结果。非常不利于分析师定位错误,进行数据探索。

第二,不能灵活组合多种原语,无法将复杂的数据分析场景简单化,更适合于有编程经验的程序员,学习和入门门槛高。

四、可视化大屏只能看,不能交互

当数据驱动决策的大潮来袭后,对海量数据进行高效分析后,能够进行多维度的高清展示就成为每一个决策者心中的期待!为了这份期待,很多数据公司提供了创造性的呈现方式及内容(美仑美奂的高清展示大屏、划分清晰而完整的主题)。即便如此,在一些方面仍不能满足用户的需求。

第一,数据大屏的信息量太大,无法让用户迅速聚焦重点。

第二,无法快速了解多个屏幕在整体上的布局情况,当需要寻找某一具体信息时,不能通过缩略布局图快速返回。

第三,目前大屏信息量较大,虽有划分主题,但在宏观上还是不好区分。快速定位的问题仍有待解决。

第四,不能有效地下钻链接内容。

第五,同屏及多屏互动功能还处于空白阶段。

抛开现象看本质,可视化是表象,分析内核才是灵魂。如果表现形式不能很好地反映内在,即使做的再精美也是难以发挥价值的。

五、定制化需求太多,实施成本太高,要赚钱很难

首先,大数据开源技术的蓬勃兴盛造就了大数据行业的低门槛,越来越多的IT公司正在或打算从事大数据业务,造成了激烈的行业竞争。但是开源技术虽然成熟,应用广泛,但如果要作为商用,承担大任,就会存在如何根据用户基础架构和数据特点,进行开源组件优化和二次开发的问题。而开源技术存在涉及面广、版本更新快的问题,对技术开发能力的要求是比较高的,无法普适于一般的数据分析师。

其次,定制化需求比较多。大数据时代,如何用数据充分挖倔价值是王道。每个客户可能都有着不一样的分析需求,不能用一款产品定制出多元化的项目是痛中之痛。

再次,我们知道做一个大数据分析项目的大致流程是这样的:

需求分析 → 部署Hadoop/Spark等平台 → 数据处理ETL  → 数据探索,构建模型 → 开发可视化界面 → 交互测试 。

可以看出,过程长而复杂,这就对开发人员提出了很高的要求。要求基础平台搭建工程师,拥有HADOOP、SPARK、ELK、Sqoop、UTL、关系型数据库等技能;要求后台开发工程师,拥有J2EE/XML/Web Servie、Map/Recude、Spark Driver、Spark streaming等技能;要求分析和数据挖掘工程师,拥有Hive/Impala/Spark SQL、spark MLLib/graphx、Matlab、ES QueryDSL/ESQL等技能;要求前端开发工程师,拥有HTML5\CSS3、JavaScript、JQuery\Bootstrap、Echars\D3.js等技能。一个项目需要这么多的人力成本,且对技能的要求如此之高,让项目管理负重而行。

以上问题共同造成了用户的哀伤,如何解决,才能截然不“痛”呢?

下篇,OpenFEA将给出解决方案,敬请期待!

 

另外,以上总结归纳,如果您觉得还未击中用户痛点,欢迎在留言区补充,我们继续讨论。如果您觉这些问题有点以偏盖全,也请留言,我们共同探讨,一起提高大数据分析系统的实用价值,为民族大数据分析产品的发展贡献力量。

© 著作权归作者所有

openfea
粉丝 19
博文 88
码字总数 98530
作品 1
杭州
其他
私信 提问
Linux Journal 倒了……

今天的消息,又挣扎了两年的《Linux Journal》,宣布倒闭了。他们宣布: 2019 年 8 月 7 日,Linux Journal 关闭了大门。所有员工都被解雇了,公司没有任何经营资金可以继续以任何身份持续下...

作者: 老王
08/08
0
0
00后强大的网络签名

网络签名对于网友来说不仅是抒写个人心情,告知个人近况的好地方,也是吸引眼球和关注的好办法,于是,网友们的个性签名可谓千奇百怪。近日,网友“一夜薇凉雨”不无担心地发帖展示了自己00后...

红薯
2011/02/22
1K
18
推荐 :数据分析师必需具备的10种分析思维。

一、逻辑思维 逻辑思维即明白价值链,明白各项数据中的关系; 该方法的关键在于明白其中的关系要求你对这项工作要了解、熟悉,要细致和慎密,要清楚充分性和必要性的关系。 实际上也就是指:你...

数据分析v
2018/08/31
0
0
【3分钟速读】洞察用户的3种方法,其中一种弄死数据分析师哦

作者:陈老师 个人公众号:接地气学堂 陈老师新课:商业分析全攻略 https://edu.hellobi.com/course/308 用数据分析方法解决商业问题,目前已经100+学员加入!5星好评。分析思维双剑合璧,四...

天善智能
05/22
0
0
微信公众账号运营数据分析怎样做?

     微信公众账号运营数据分析怎样做?大家都知道经营一个微信公众号是非常不容易的,关于微信公众号运营数据分下,大家知道应该怎么样做吗?下面跟随小编来看一看吧!      经过大半年...

公众开发运营官网
2018/02/10
0
0

没有更多内容

加载失败,请刷新页面

加载更多

前端技术之:Prisma Demo服务部署过程记录

安装前提条件: 1、已经安装了docker运行环境 2、以下命令执行记录发生在MackBook环境 3、已经安装了PostgreSQL(我使用的是11版本) 4、Node开发运行环境可以正常工作 首先需要通过Node包管...

popgis
32分钟前
4
0
数组和链表

数组 链表 技巧一:掌握链表,想轻松写出正确的链表代码,需要理解指针获引用的含义: 对指针的理解,记住下面的这句话就可以了: 将某个变量赋值给指针,实际上就是将这个变量的地址赋值给指...

code-ortaerc
47分钟前
4
0
栈-链式(c/c++实现)

上次说“栈是在线性表演变而来的,线性表很自由,想往哪里插数据就往哪里插数据,想删哪数据就删哪数据...。但给线性表一些限制呢,就没那么自由了,把线性表的三边封起来就变成了栈,栈只能...

白客C
今天
40
0
Mybatis Plus service

/** * @author beth * @data 2019-10-20 23:34 */@RunWith(SpringRunner.class)@SpringBootTestpublic class ServiceTest { @Autowired private IUserInfoService iUserInfoS......

一个yuanbeth
今天
5
0
php7-internal 7 zval的操作

## 7.7 zval的操作 扩展中经常会用到各种类型的zval,PHP提供了很多宏用于不同类型zval的操作,尽管我们也可以自己操作zval,但这并不是一个好习惯,因为zval有很多其它用途的标识,如果自己...

冻结not
昨天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部