文档章节

免费数据分析工具:secsoso

赛克蓝德
 赛克蓝德
发布于 09/18 23:19
字数 865
阅读 123
收藏 1

前段时间思考了理想数据分析平台,之后我们根据这个思路开发了spl语言并提供了一个数据分析平台,这个平台主要用在搜索ES,数据库索引中的数据。但后来发现对文件的事后处理也是个非常重要的事情。当问题发生后,很多时候需要对文件进行分析取证。在linux下还有一堆的命令可以使用,但很多时候使用起来也比较麻烦。在windows基本没有啥好的工具。在这种情况下我们开发了一款免费的对文件分析的小工具secsoso.

    先举一个示例:列出当天访问次数最多的IP命令。

    在Linux下可以用如下命令:

    cut -d- -f 1 log_file|uniq -c | sort -rn | head -20

    用secsoso的命令为:

    secsoso ‘access.log|stats  count($1) by ip|sort 20 -count_ip’

通过对比发现,两者有类似的地方,也有不同的地方,类似的地方都是用|作为管道来进行操作,不同的地方是secsoso只有一个命令,其他的都是内部的参数使用,而且这个参数命令和sql有些类似,方便学习和记忆。

    secsoso不仅仅是linux命令的一些替换,有时候用linux命令不太好实现的事情用secsoso也能实现,举例如下:

    统计每个小时的访问次数

     secsoso 'access.log|eval date=$4.to_date("[dd/MMM/yyyy:HH:mm:ss")|stats count(date) by tspan(date,"1h")'

这个是对日志中的时间进行了转换,通过转换后的时间可以用到时间统计的一些方法。这种场景用linux脚本实现可能会比较麻烦。

    在举例几个复杂的场景来验证下secsoso的功能:

 

    统计具有cc攻击的用户ip(单位时间内访问次数超过阈值的用户),每小时大于100

secsoso  'access.log|eval date=$4.to_date("[dd/MMM/yyyy:HH:mm:ss")|stats $1 as ip,count(date) as count by tspan(date,"1h"),$1|search count>100'

结果如下:

        tspan_date                         ip            count

2013-09-18 08:00:00              114.252.89.91               79

2013-09-18 08:00:00             116.24.236.137               68

2013-09-18 08:00:00               202.84.17.41               84

2013-09-18 08:00:00               203.192.6.59               83

    网站登录密码猜测

比如5分钟大于10次同一个ip登录密码错误,认为是密码猜测,然后把所有IP找到,日志示例:

114.221.137.86 - - [11/Sep/2019:10:25:39 +0800] "POST /login HTTP/1.1" 200 1111 https://secilog.secisland.com/login Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.105 Safari/537.36 Vivaldi/2.4.1488.40

secsoso 'access.log $6="*POST" $7="*/login"  $9="200"| eval date=$4.to_date("[dd/MMM/yyyy:HH:mm:ss")|stats count($1) as count by tspan(date,"5m"),$1| search count>10|stats sum(count) by $1'

结果如下:

                $1            sum_count

111.192.165.229                   14

    通过以上分析可以发现,secsoso可以满足日常生活的很多统计分析功能。可以作为linux或者windows平台上的一个有利的补充。

赛克蓝德是一家数据分析公司,本着数据改变生活的理念,致力于提供方便好用的数据分析产品。

© 著作权归作者所有

赛克蓝德
粉丝 297
博文 123
码字总数 157303
作品 2
南京
高级程序员
私信 提问
加载中

评论(1)

赛克蓝德
赛克蓝德 博主
统一回复下载地址:链接: https://pan.baidu.com/s/1CkyNWF6V-BHBMZUUPRMcog 提取码: yh99
secsoso spl 语法说明

概述 数据分析一直是近几年非常热的一个话题,但如何进行数据分析目前业界还没有一个统一答案,从抽象的角度来说,先要有数据,然后有目标,最后给个工具从数据中提取目标这个就是数据分析过...

赛克蓝德
09/20
61
0
运维利器:WEB日志分析场景介绍

为什么要对 Web日志进行分析 随着 Web 技术不断发展,Web 被应用得越来越广泛,现在很多企业对外就一个网站来提供服务,所以网站的业务行为,安全性显得非常重要。正如安全行业的一句话:“世...

赛克蓝德
09/20
65
0
【收藏】数据分析必备神器

数据可视化工具 百度ECharts:http://http://echarts.baidu.com/ Cytoscape:http://An Open Source Platform for Complex Network Analysis and Visualization 图表秀:http://图表秀--免......

Data Analyst
2017/04/21
0
0
39个大数据可视化工具 数据研究必备

数据可视化无处不在,而且比以前任何时候都重要。无论是在行政演示中为数据点创建一个可视化进程,还是用可视化概念来细分客户,数据可视化都显得尤为重要。以前的工具的基本不能处理大数据。...

小数点
2017/12/07
0
0
数据分析技术白皮书-问与答(第1篇)

这个系列文章里,我会把多年来碰到过(或我回答过)的数据分析问题与答案分享出来给大家。 问1:一个网站要否长期使用多个流量统计工具?如何取舍网站网站分析工具? 答: WA(web analytics...

gordonchoi
2018/04/25
0
0

没有更多内容

加载失败,请刷新页面

加载更多

【1015】LNMP架构二

【1015】LNMP架构二 三、PHP安装 PHP安装和LAMP安装PHP方法有差别,需要开启php-fpm服务 1、下载PHP7至/usr/local/src/ 切换目录:cd /usr/local/src 2、解压缩 tar -jxvf php-7.3.0.tar.gz...

飞翔的竹蜻蜓
24分钟前
2
0
浅谈Visitor访问者模式

一、前言 什么叫访问,如果大家学过数据结构,对于这点就很清晰了,遍历就是访问的一般形式,单独读取一个元素进行相应的处理也叫作访问,读取到想要查看的内容+对其进行处理就叫作访问,那么...

青衣霓裳
43分钟前
6
0
JS内嵌多个页面,页面之间如何更快捷的查找相关联的页面

假设parent为P页面, P页面有两个子页面,分别为B页面和C页面; B页面和C页面分别内嵌一个iframe,分别为:D页面和E页面 现在通过B页面的内嵌页面D的方法refreshEpage(eUrl)来加载内嵌页面E的内容...

文文1
44分钟前
7
0
Hibernate 5 升级后 getProperties 错误

升级到 Hibernate 5 后,提示有错误: org.hibernate.engine.spi.SessionFactoryImplementor.getProperties()Ljava/util/Map; 完整的错误栈为: java.lang.NoSuchMethodError: org.hibernate......

honeymoose
45分钟前
6
0
mysql-connector-java升级到8.0后保存时间到数据库出现了时差

在一个新项目中用到了新版的mysql jdbc 驱动 <dependency>     <groupId>mysql</groupId>     <artifactId>mysql-connector-java</artifactId>     <version>8.0.18</version> ......

ValSong
48分钟前
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部