文档章节

通向ES的高速公路

openfea
 openfea
发布于 2017/03/03 13:19
字数 1135
阅读 30
收藏 1

一、背景

随着互联网的发展和Elasticsearch(以下简称ES)技术的成熟,越来越多的企业、政府单位将产生或者获得大量的数据,用ES进行全文搜索和分析。

维基百科使用Elasticsearch来进行全文搜索并高亮显示关键词,以及提供search-as-you-type、did-you-mean等搜索建议功能。

英国卫报使用Elasticsearch来处理访客日志,以便能将公众对不同文章的反应实时地反馈给各位编辑。

StackOverflow将全文搜索与地理位置和相关信息进行结合,以提供more-like-this相关问题的展现。

GitHub使用Elasticsearch来检索超过1300亿行代码。

Goldman Sachs每天使用它来处理5TB数据的索引,还有很多投行使用它来分析股票市场的变动。

……

伴随上述大数据而来的是数据分析,企业和政府单位都会通过分析数据(数据经营、探索、分析)获得分析结果,并把分析结果大量的运用企业的产品营销或者政府决策上面。而kibana插件在其中起了重要的作用。kibana是一个为 ElasticSearch 提供的数据分析的 Web 接口,可对数据进行高效的搜索、可视化、分析等各种操作,形象地展示数据的变化趋势和分布统计情况。

虽然有了上述的种种优点,但ElasticSearch的安全性与易用性仍饱受争议。从有鉴于此,我们开发出了ESQL工具,用以降低应用程序和用户使用ES难度,为用户提供SQL接口与访问控制能力。一方面,通过ESQL的防护实现客户端与ES集群的安全隔离。另一方面,ESQL工具可以简化使用,可快速在ES上现实高级检索、复杂逻辑运算、安全控制等功能。而kibana的发展受限于ElasticSearch,无法提供用户自助式的服务。即将出炉的FEA3版本推出了KA自助分析插件(以下简称KA),让FEA和ES结合的更加紧密无间,更加适应FEA的一站式敏捷分析。我的数据我做主,让数据分析不再难懂!


二、KA的优势

1、所有data无需记忆,所有数据信息一目了然

不仅显示了表格数据,还可通过图表展示该数据统计信息。

2、分析自助,不懂SQL也能进行数据分析

只需鼠标轻点几下,即可完成数据分析。例如会自动排列出重复出现次数最多的前5个字段的值,鼠标点击该区域即可显示出所有包含该字段内容的数据。

3、比传统SQL强大

可以根据时间序列、IP范围、地址等字段来进行数据聚合

看不清楚,那就再放大一点

以时序字段insert_stamp_string为例,按天设置间隔选择day,让我们来看一下统计的结果

怎么样,是不是很easy,对时序数据的处理,就是鼠标轻轻一点这么简单。

化繁为简之后,使得数据分析的门槛大大降低,应用场景也越加丰富。看到上面的折线图,有没有想到股市里的K线图。没错,股市也是KA自助分析适用的一大场景,你可以根据不同的时序自由调整进行数据统计分析。而按照IP范围或者地址等字段的分析应用,对网络安全的态势感知、地域分布的数据统计分析等场景来说正是恰到好处。

当然,享受该种便利也是有前提条件的,数据必须是按照ES标准格式构建的。

4、KA与FEA完美结合,方便对数据进行深入的分析处理

同kibana一样,KA本身不支持机器学习、更多的图表展现。将KA与FEA结合之后,能够将数据加载到DF表做更加复杂更加深入的分析运算,支持的图表也更加丰富多样。


将ES数据添加到DF表

将分析数据存储到数据库或者数据文件,确保数据不丢失。

将ES数据存储到ssdb数据库

FEA前进一小步,分析师方便一大步!赶快来参与体验吧,你就是那个数据分析专家!

© 著作权归作者所有

openfea
粉丝 18
博文 86
码字总数 95615
作品 1
杭州
其他
私信 提问
博客文集《前方的路》发布

年初,我定了一个目标:今年要完成三本书。 第一本书是 《ES6 标准入门(第三版)》(官网,源码),今年9月已经出版。 第二本书是 《未来世界的幸存者》(官网,源码),两周前写完。它是我...

阮一峰
2017/11/23
0
0
闭路电视CCTV监控摄像机子系统

近年来,随着计算机图像处理技术的迅速发展,闭路电视监控系统在高速公路交通监控中的应用已经非常广泛,为高速公路监控系统提供了最直观、最重要的监视手段。 高速公路闭路电视监控系统一般分为...

1159271856
2018/08/22
0
0
基于大数据技术的全国高速公路通行数据 动态监测平台建设

基于大数据技术的全国高速公路通行数据 动态监测平台建设 “基于大数据技术的全国高速公路通行数据动态监测平台建设”属于交通运输行业”十二五”信息化重大工程的重要内容,其主要任务是要从...

yuanwx0328
2017/11/15
0
0
CCNA Routing EIGRP

可靠传输协议(RTP)是EIGRP用于发送和接收EIGRP数据包的协议。 EIGRP被设计为与网络层无关的路由协议,所以不能使用UDP和TCP,因为IPX和Appletalk不使用TCP/IP EIGRP Hello数据包用组播方式...

yzb0824
2014/05/02
0
0
L2-031 深入虎穴(BFS)

著名的王牌间谍 007 需要执行一次任务,获取敌方的机密情报。已知情报藏在一个地下迷宫里,迷宫只有一个入口,里面有很多条通路,每条路通向一扇门。每一扇门背后或者是一个房间,或者又有很...

CHD小萌新
03/31
0
0

没有更多内容

加载失败,请刷新页面

加载更多

java数据类型

基本类型: 整型:Byte,short,int,long 浮点型:float,double 字符型:char 布尔型:boolean 引用类型: 类类型: 接口类型: 数组类型: Byte 1字节 八位 -128 -------- 127 short 2字节...

audience_1
31分钟前
5
0
太全了|万字详解Docker架构原理、功能及使用

一、简介 1、了解Docker的前生LXC LXC为Linux Container的简写。可以提供轻量级的虚拟化,以便隔离进程和资源,而且不需要提供指令解释机制以及全虚拟化的其他复杂性。相当于C++中的NameSpa...

Java技术剑
31分钟前
8
0
Wifiphisher —— 非常非常非常流氓的 WIFI 网络钓鱼框架

编者注:这是一个非常流氓的 WIFI 网络钓鱼工具,甚至可能是非法的工具(取决于你的使用场景)。在没有事先获得许可的情况下使用 Wifiphisher 攻击基础网络设施将被视为非法活动。使用时请遵...

红薯
今天
44
1
MongoDB 4 on CentOS 7安装指南

本教程为CentOS x86_64 7.x操作系统下,MongoDB Community x86_64 4.2(GA)安装指南。 安装方式一:yum repo在线安装 [此方式较为简单,官方推荐] Step1:新建MongDB社区版Yum镜像源。 # vim ...

王焱君
今天
7
0
go-micro 入门教程1.搭建 go-micro环境

微服务的本质是让专业的人做专业的事情,做出更好的东西。 golang具备高并发,静态编译等特性,在性能、安全等方面具备非常大的优势。go-micro是基于golang的微服务编程框架,go-micro操作简单...

非正式解决方案
今天
11
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部