通向ES的高速公路

原创
2017/03/03 13:19
阅读数 32

一、背景

随着互联网的发展和Elasticsearch(以下简称ES)技术的成熟,越来越多的企业、政府单位将产生或者获得大量的数据,用ES进行全文搜索和分析。

维基百科使用Elasticsearch来进行全文搜索并高亮显示关键词,以及提供search-as-you-type、did-you-mean等搜索建议功能。

英国卫报使用Elasticsearch来处理访客日志,以便能将公众对不同文章的反应实时地反馈给各位编辑。

StackOverflow将全文搜索与地理位置和相关信息进行结合,以提供more-like-this相关问题的展现。

GitHub使用Elasticsearch来检索超过1300亿行代码。

Goldman Sachs每天使用它来处理5TB数据的索引,还有很多投行使用它来分析股票市场的变动。

……

伴随上述大数据而来的是数据分析,企业和政府单位都会通过分析数据(数据经营、探索、分析)获得分析结果,并把分析结果大量的运用企业的产品营销或者政府决策上面。而kibana插件在其中起了重要的作用。kibana是一个为 ElasticSearch 提供的数据分析的 Web 接口,可对数据进行高效的搜索、可视化、分析等各种操作,形象地展示数据的变化趋势和分布统计情况。

虽然有了上述的种种优点,但ElasticSearch的安全性与易用性仍饱受争议。从有鉴于此,我们开发出了ESQL工具,用以降低应用程序和用户使用ES难度,为用户提供SQL接口与访问控制能力。一方面,通过ESQL的防护实现客户端与ES集群的安全隔离。另一方面,ESQL工具可以简化使用,可快速在ES上现实高级检索、复杂逻辑运算、安全控制等功能。而kibana的发展受限于ElasticSearch,无法提供用户自助式的服务。即将出炉的FEA3版本推出了KA自助分析插件(以下简称KA),让FEA和ES结合的更加紧密无间,更加适应FEA的一站式敏捷分析。我的数据我做主,让数据分析不再难懂!


二、KA的优势

1、所有data无需记忆,所有数据信息一目了然

不仅显示了表格数据,还可通过图表展示该数据统计信息。

2、分析自助,不懂SQL也能进行数据分析

只需鼠标轻点几下,即可完成数据分析。例如会自动排列出重复出现次数最多的前5个字段的值,鼠标点击该区域即可显示出所有包含该字段内容的数据。

3、比传统SQL强大

可以根据时间序列、IP范围、地址等字段来进行数据聚合

看不清楚,那就再放大一点

以时序字段insert_stamp_string为例,按天设置间隔选择day,让我们来看一下统计的结果

怎么样,是不是很easy,对时序数据的处理,就是鼠标轻轻一点这么简单。

化繁为简之后,使得数据分析的门槛大大降低,应用场景也越加丰富。看到上面的折线图,有没有想到股市里的K线图。没错,股市也是KA自助分析适用的一大场景,你可以根据不同的时序自由调整进行数据统计分析。而按照IP范围或者地址等字段的分析应用,对网络安全的态势感知、地域分布的数据统计分析等场景来说正是恰到好处。

当然,享受该种便利也是有前提条件的,数据必须是按照ES标准格式构建的。

4、KA与FEA完美结合,方便对数据进行深入的分析处理

同kibana一样,KA本身不支持机器学习、更多的图表展现。将KA与FEA结合之后,能够将数据加载到DF表做更加复杂更加深入的分析运算,支持的图表也更加丰富多样。


将ES数据添加到DF表

将分析数据存储到数据库或者数据文件,确保数据不丢失。

将ES数据存储到ssdb数据库

FEA前进一小步,分析师方便一大步!赶快来参与体验吧,你就是那个数据分析专家!

展开阅读全文
打赏
0
1 收藏
分享
加载中
更多评论
打赏
0 评论
1 收藏
0
分享
返回顶部
顶部