文档章节

使用开源Echarts为Splunk打造类似语法驱动的分析可视化

naughty
 naughty
发布于 2017/05/02 14:02
字数 1136
阅读 1121
收藏 17

Splunk是业内领先的机器数据平台,有非常易用的用户界面的可视化的选项。Splunk的可视化图表是使用开源的highcharts构建的。但是Splunk内置的可视化选项不够灵活,不能动态的进行数据到图表的绑定。可喜的是,最新版本的Splunk提供了客户自定义图表的功能, 利用该功能,我们可以打造一个类似Tableau或者ggplot的语法驱动的可视化工具。

代码在

主要逻辑代码代码是echarts_app/appserver/static/visualizations/echarts/src/visualization_source.js,不超过600行代码,大家有兴趣可以去看一下。

安装比较简单,拷贝echarts_app到SPLUNK_HOME/etc/apps目录下,

然后在 echarts_app/appserver/static/visualizations/echarts/ 在运行以下命令:

npm install
npm run build

当然,你需要在本机事先安装好Splunk的最近版本和npm,并设置SPLUNK_HOME的环境变量。

目录下自带了几个数据的样本,下面就详细说明一下如何使用:

数据绑定

先解释一下数据绑定,Splunk的SPL返回一个Table结构的数据表,利用该表我们可以把某一列数据绑定在某个可视化的选项上。

例如以下的SPL:

source="drinks.csv" 
| table country, wine_servings,  beer_servings, spirit_servings, total_litres_of_pure_alcohol 
| head 5

会返回这样的数据表

 

 

 

我们用上表中每一列的索引来进行绑定,这里country的索引是0,beer_servings的索引是2。

点击可视化选项Format,可以看到,凡是名字中包含Binding的选项,都可以进行数据的绑定。,绑定时,直接输入对应的逗号分割索引列表就好了,例如,要绑定第2和3列数据,输入1,2

单轴

饼图

SPL:

source="drinks.csv" 
| table country, wine_servings,  beer_servings, spirit_servings, total_litres_of_pure_alcohol 
| head 5

语法设置:

Coordinates -> Coordinates Type = Single Axis
Single Axis -> Axis Binding = 0  (country)
Data Series -> Data Type = Pie
Data Series -> Data Color Binding = 1 (wine_servings)

单轴散点图

SPL:

source="drinks.csv" 
| table country, wine_servings,  beer_servings, spirit_servings, total_litres_of_pure_alcohol 

语法设置:

Coordinates -> Coordinates Type = Single Axis
Single Axis -> Axis Binding = 0  (country)
Data Series -> Data Type = Scatter
Data Series -> Data Color Binding = 1 (wine_servings)

X-Y 坐标系

柱状图

SPL

source="drinks.csv" 
| table country, wine_servings,  beer_servings, spirit_servings, total_litres_of_pure_alcohol 
| head 10

语法设置:

Coordinates -> Coordinates Type = X-Y
X-Y Axis -> X-Axis Binding = 0 (country)
X-Y Axis -> X-Axis Type = Category
X-Y Axis -> Y-Axis Binding = 1,2 (wine_servings,  beer_servings)
X-Y Axis -> Y-Axis Type = Value
Data Series -> Data Type = Bar


堆叠(Stack)模式只要利用echarts的工具箱,点击换为堆叠/换为平铺,直接可以切换

修改 Data Series -> Data Type = Bar 可获得折线(Line)图


同样可以切换为堆积模式


折线图和区域(Area)图本质是一样的,只需要选择 Data Series -> Show Area = True/False

同样的可以切换为堆叠(stack)模式

对换X-Y轴的绑定可以得到Bar Chart
X-Y Axis -> X-Axis Binding = 1,2 (wine_servings,  beer_servings)
X-Y Axis -> X-Axis Type = Value
X-Y Axis -> Y-Axis Binding = 0 (country)
X-Y Axis -> Y-Axis Type = Category

散点图

SPL

source="drinks.csv" 
| table country, wine_servings,  beer_servings, spirit_servings, total_litres_of_pure_alcohol 

语法设置:
Coordinates -> Coordinates Type = X-Y
X-Y Axis -> X-Axis Binding = 1 (wine_servings)
X-Y Axis -> X-Axis Type = Value
X-Y Axis -> Y-Axis Binding = 2 (beer_servings)
X-Y Axis -> Y-Axis Type = Value
Data Series -> Data Type = Scatter

增加对第四列的分析,绑定为颜色
Data Series -> Data Color Binding = 3 (spirit_servings)

增加对第四列的分析,绑定为数据点的大小
Data Series -> Data Size Binding = 4 (total_litres_of_pure_alcohol)

地图

等值线图 (Choropleth Map)
SPL

source="drinks.csv" 
| table country, wine_servings,  beer_servings, spirit_servings, total_litres_of_pure_alcohol 

语法设置:
Coordinates -> Coordinates Type = Geomap
Geomap -> Map Type = World
Geomap -> Geo Naming Binding = 0 (country)
Data Series -> Data Type = Map
Data Series -> Data Color Binding = 1 (wine_servings)


 

散点图

SPL:

source="police_killings.csv" | table latitude,longitude,p_income

语法设置:
Coordinates -> Coordinates Type = Geomap
Geomap -> Map Type = World
Geomap -> Longitude and Latitude Binding = 1,0 (longitude,latitude)
Data Series -> Data Type = Scatter
Data Series -> Data Color Binding = 2 (p_income)

切换为美国地图 Geomap -> Map Type = USA


增加绑定数据p_income到点的大小

缺省内置了世界地图,中国地图和美国地图,如果用户需要增加其他地图,需要调用echarts.registerMap方法来增加新的地图。

其它设置

echart提供非常多的可视化的visual选项,这里更多的为了数据分析,并没有提供很多和分析无关的选项。在Settings里面,用户可以选择修改颜色绑定的默认值和数据点最大最小的范围值(单位是像素)。

 

总结

相比起Splunk内置的图表,使用语法驱动的图表更为灵活,但是用户需要理解每一个绑定的含义,有一定的难度,但相信如果用户熟悉话,应该是很好用的。欢迎大家来指教。

© 著作权归作者所有

naughty

naughty

粉丝 351
博文 74
码字总数 146372
作品 0
其它
私信 提问
加载中

评论(3)

thinkwithlinc
thinkwithlinc
感觉可以做另一个Kibana
naughty
naughty 博主

引用来自“红薯”的评论

代码放到码云上呗 :)
😄 👌
红薯
红薯
代码放到码云上呗 :)
全票通过!百度开源项目 ECharts 首进 Apache 孵化器

近日,全球著名开源社区 Apache 基金会宣布“百度开源的 ECharts 项目全票通过进入 Apache 孵化器”。这是百度第一个进入国际顶级开源社区的项目,也标志着百度开源正式进入开源发展的快车道...

ECharts
2018/03/08
12.1K
59
D3.js与echart.js的应用场景

什么是D3? D3.js的全称是Data-Driven Documents,其实就是一个数据驱动的文档的js库,简而言之就是一个数据可视化的库。那什么是数据可视化呢?举个例子: 给出一组数据 [10,80,40,100,30...

Nomad_Lau
05/11
0
0
ECharts-X 0.1 发布,下一代的 ECharts

ECharts-X是 ECharts 团队推出的全新 3D 可视化库,它是基于 ECharts 的扩展,底层深度整合了 WebGL 库QTEK和 Canvas2D 库ZRender。 目前发布的 ECharts-X 0.1 包含 map3d,并且在 map3d 中提...

pissang
2015/02/05
6.5K
54
ECharts:国内数据可视化领域的新秀

不久前,专业大数据可视化公司Tableau在纽交所成功上市,当日收盘涨幅64%,至50.75美元,共募集资金2.542亿美元,成为今年美国最大一笔科技业IPO。Tableau Software正是一家做大数据的公司,...

Kener-林峰
2013/08/06
98
0
Echarts视频教程从入门到实战

Echarts视频教程从入门到实战 网盘地址:https://pan.baidu.com/s/1p-G9UbKmXFtnuJEdiLSw2w 密码:0e9u 备用地址(腾讯微云):https://share.weiyun.com/5sKBF8E 密码:4ms8rp 有这样一款制...

放风筝好不
2018/04/16
0
0

没有更多内容

加载失败,请刷新页面

加载更多

只需一步,在Spring Boot中统一Restful API返回值格式与统一处理异常

统一返回值 在前后端分离大行其道的今天,有一个统一的返回值格式不仅能使我们的接口看起来更漂亮,而且还可以使前端可以统一处理很多东西,避免很多问题的产生。 比较通用的返回值格式如下:...

晓月寒丶
昨天
59
0
区块链应用到供应链上的好处和实际案例

区块链可以解决供应链中的很多问题,例如记录以及追踪产品。那么使用区块链应用到各产品供应链上到底有什么好处?猎头悬赏平台解优人才网小编给大家做个简单的分享: 使用区块链的最突出的优...

猎头悬赏平台
昨天
28
0
全世界到底有多少软件开发人员?

埃文斯数据公司(Evans Data Corporation) 2019 最新的统计数据(原文)显示,2018 年全球共有 2300 万软件开发人员,预计到 2019 年底这个数字将达到 2640万,到 2023 年达到 2770万。 而来自...

红薯
昨天
65
0
Go 语言基础—— 通道(channel)

通过通信来共享内存(Java是通过共享内存来通信的) 定义 func service() string {time.Sleep(time.Millisecond * 50)return "Done"}func AsyncService() chan string {retCh := mak......

刘一草
昨天
58
0
Apache Flink 零基础入门(一):基础概念解析

Apache Flink 的定义、架构及原理 Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态或无状态的计算,能够部署在各种集群环境,对各种规模大小的数据进行快速...

Vincent-Duan
昨天
60
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部