文档章节

Heka nginx input

水东流
 水东流
发布于 2016/07/22 16:31
字数 192
阅读 173
收藏 0

负责解析nginx产生的log数据,分成access,error等不同的日志数据格式。这里只例举出access的日志数据。

 

180.153.206.18 - - [17/Jul/2016:00:00:04 +0800] "GET /static/bootstrap/bsie/js/bootstrap-ie.min.js HTTP/1.1" 200 6276
180.153.206.18 - - [17/Jul/2016:00:00:04 +0800] "GET /static/flash/zoom.min.js HTTP/1.1" 200 2174
180.153.206.18 - - [17/Jul/2016:00:00:04 +0800] "GET /static/My97DatePicker/WdatePicker.js HTTP/1.1" 200 8872
180.153.206.18 - - [17/Jul/2016:00:00:04 +0800] "GET /static/modules/ticket/ticketUtil.js HTTP/1.1" 200 1838
180.153.206.18 - - [17/Jul/2016:00:00:04 +0800] "GET /static/common/jeesite.min.js HTTP/1.1" 200 3672

 

对应的heka配置如下,

[hekad]
maxprocs = 2

[TestWebserver]
type = "LogstreamerInput"
log_directory = "/opt/modules/heka/data/nginx/"
file_match = 'access\.log'
decoder = "CombinedLogDecoder"

[CombinedLogDecoder]
type = "SandboxDecoder"
filename = "lua_decoders/nginx_access.lua"

[CombinedLogDecoder.config]
type = "combined"
user_agent_transform = true
log_format = '$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent'

[RstEncoder]

[LogOutput]
message_matcher = "TRUE"
encoder = "RstEncoder"

注意log_format要和nginx的log格式对应上,才不会出错。

 

结果,

© 著作权归作者所有

水东流
粉丝 4
博文 51
码字总数 23858
作品 0
海淀
程序员
私信 提问
Heka配置讲解

基于Heka,ElasticSearch和Kibana的分布式后端日志架构 目前主流的后端日志都采用的标准的elk模式(Elasticsearch,Logstash,Kinaba),分别负责日志存储,收集和日志可视化。 不过介于我们...

乌龟运维
2017/07/04
0
0
Heka - 来自 Mozilla 的插件式数据挖掘工具

近日Mozilla Service团队首次发布了 Heka测试版(v0.2b1),Heka是一款拥有数据收集、分析、监视和报表的工具,采用 Go 语言开发。其主要组件为 hekad,一个适用于任何主机的轻量级守护程序,...

taohongfei
2013/05/03
4.8K
24
一个关于heka采集系统的问题

配置架构: a. Heka’s Agent/Aggregator架构 b:以一台agent为例进行说明,agent1配置文件如下: [NginxLogInput]type = "LogstreamerInput"log_directory = "/usr/local/openresty/nginx/......

shawn chen
2014/12/24
930
0
美国HEKA发布全球第一款人工智能床垫

原标题:美国HEKA发布全球第一款人工智能床垫   HEKA发布HEKA AI Mattress   近期,美国高端家具定制企业HEKA宣布推出全球第一款人工智能床垫——HEKA AI Mattress。这是一款“超越想象力...

羴羴君
2018/06/18
0
0
Heka 0.5 发布,数据收集和整理工具

Heka 0.5 发布了,这是一个主要的更新版本,包含诸多新特性和改进,详情请看 changelog 来自 Mozilla 的 Heka 是一个用来收集和整理来自多个不同源的数据的工具,通过对数据进行收集和整理后...

oschina
2014/03/07
1K
1

没有更多内容

加载失败,请刷新页面

加载更多

golang-字符串-地址分析

demo package mainimport "fmt"func main() {str := "map.baidu.com"fmt.Println(&str, str)str = str[0:5]fmt.Println(&str, str)str = "abc"fmt.Println(&s......

李琼涛
今天
4
0
Spring Boot WebFlux 增删改查完整实战 demo

03:WebFlux Web CRUD 实践 前言 上一篇基于功能性端点去创建一个简单服务,实现了 Hello 。这一篇用 Spring Boot WebFlux 的注解控制层技术创建一个 CRUD WebFlux 应用,让开发更方便。这里...

泥瓦匠BYSocket
今天
6
0
从0开始学FreeRTOS-(列表与列表项)-3

FreeRTOS列表&列表项的源码解读 第一次看列表与列表项的时候,感觉很像是链表,虽然我自己的链表也不太会,但是就是感觉很像。 在FreeRTOS中,列表与列表项使用得非常多,是FreeRTOS的一个数...

杰杰1号
今天
8
0
Java反射

Java 反射 反射是框架设计的灵魂(使用的前提条件:必须先得到代表的字节码的 Class,Class 类 用于表示.class 文件(字节码)) 一、反射的概述 定义:JAVA 反射机制是在运行状态中,对于任...

zzz1122334
今天
5
0
聊聊nacos的LocalConfigInfoProcessor

序 本文主要研究一下nacos的LocalConfigInfoProcessor LocalConfigInfoProcessor nacos-1.1.3/client/src/main/java/com/alibaba/nacos/client/config/impl/LocalConfigInfoProcessor.java p......

go4it
昨天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部