文档章节

Heka同一个文件滚动读取rolling read FilePollingInput

水东流
 水东流
发布于 2016/07/22 18:33
字数 613
阅读 17
收藏 0

针对一个文件,周期性质的去读取内容,无buffer的读取,典型应用

1,内存使用情况读取

[hekad]
maxprocs = 2

[MemStats]
type = "FilePollingInput"
ticker_interval = 1
file_path = "/proc/meminfo"
decoder = "MemStatsDecoder"


[MemStatsDecoder]
type = "SandboxDecoder"
filename = "lua_decoders/linux_memstats.lua"


[RstEncoder]

[LogOutput]
message_matcher = "TRUE"
encoder = "RstEncoder"

结果如下,

:Timestamp: 2016-07-22 10:29:48 +0000 UTC
:Type: stats.memstats
:Hostname: master
:Pid: 0
:Uuid: 977fd381-43d8-424a-a410-8d230b85ab46
:Logger: MemStats
:Payload: 
:EnvVersion: 
:Severity: 7
:Fields:
    | name:"Hugepagesize" type:double value:2048 representation:"kB"
    | name:"Buffers" type:double value:183108 representation:"kB"
    | name:"Active" type:double value:696196 representation:"kB"
    | name:"Bounce" type:double value:0 representation:"kB"
    | name:"SUnreclaim" type:double value:31416 representation:"kB"
    | name:"HugePages_Total" type:double value:0
    | name:"Active(anon)" type:double value:454064 representation:"kB"
    | name:"Mlocked" type:double value:0 representation:"kB"
    | name:"AnonPages" type:double value:981512 representation:"kB"
    | name:"Active(file)" type:double value:242132 representation:"kB"
    | name:"Committed_AS" type:double value:3.152928e+06 representation:"kB"
    | name:"VmallocUsed" type:double value:149148 representation:"kB"
    | name:"SwapFree" type:double value:2.009828e+06 representation:"kB"
    | name:"Inactive(file)" type:double value:313540 representation:"kB"
    | name:"CommitLimit" type:double value:2.988856e+06 representation:"kB"
    | name:"Slab" type:double value:164308 representation:"kB"
    | name:"PageTables" type:double value:16888 representation:"kB"
    | name:"HugePages_Free" type:double value:0
    | name:"SwapTotal" type:double value:2.031608e+06 representation:"kB"
    | name:"NFS_Unstable" type:double value:0 representation:"kB"
    | name:"VmallocChunk" type:double value:3.4359583224e+10 representation:"kB"
    | name:"HugePages_Surp" type:double value:0
    | name:"DirectMap1G" type:double value:0 representation:"kB"
    | name:"DirectMap2M" type:double value:2.091008e+06 representation:"kB"
    | name:"DirectMap4k" type:double value:6144 representation:"kB"
    | name:"HugePages_Rsvd" type:double value:0
    | name:"Shmem" type:double value:1164 representation:"kB"
    | name:"SReclaimable" type:double value:132892 representation:"kB"
    | name:"Mapped" type:double value:57724 representation:"kB"
    | name:"HardwareCorrupted" type:double value:0 representation:"kB"
    | name:"FilePath" type:string value:"/proc/meminfo"
    | name:"MemFree" type:double value:159100 representation:"kB"
    | name:"Writeback" type:double value:0 representation:"kB"
    | name:"SwapCached" type:double value:3240 representation:"kB"
    | name:"WritebackTmp" type:double value:0 representation:"kB"
    | name:"Dirty" type:double value:164 representation:"kB"
    | name:"VmallocTotal" type:double value:3.4359738367e+10 representation:"kB"
    | name:"Inactive" type:double value:844780 representation:"kB"
    | name:"AnonHugePages" type:double value:706560 representation:"kB"
    | name:"Unevictable" type:double value:0 representation:"kB"
    | name:"Inactive(anon)" type:double value:531240 representation:"kB"
    | name:"KernelStack" type:double value:3128 representation:"kB"
    | name:"Cached" type:double value:373728 representation:"kB"
    | name:"MemTotal" type:double value:1.914496e+06 representation:"kB"

fileds中的值会随着每次读取发生变化的。

 

应用二,系统负载读取

[LoadAvg]
type = "FilePollingInput"
ticker_interval = 1
file_path = "/proc/loadavg"
decoder = "LoadAvgDecoder"

[LoadAvgDecoder]
type = "SandboxDecoder"
filename = "lua_decoders/linux_loadavg.lua"

 

应用三,磁盘情况读取

[DiskStats]
type = "FilePollingInput"
ticker_interval = 1
file_path = "/sys/block/sda1/stat"
decoder = "DiskStatsDecoder"

[DiskStatsDecoder]
type = "SandboxDecoder"
filename = "lua_decoders/linux_diskstats.lua"

 

应用四,cpu情况读取

[ProcStats]
type = "FilePollingInput"
ticker_interval = 1
file_path = "/proc/stat"
decoder = "ProcStatDecoder"

[ProcStatDecoder]
type = "SandboxDecoder"
filename = "lua_decoders/linux_procstat.lua"

 

应用五,设备情况读取

[Netdev]
type = "FilePollingInput"
ticker_interval = 1
file_path = "/proc/net/dev"
decoder = "NetdevDecoder"

[NetdevDecoder]
type = "SandboxDecoder"
filename = "lua_decoders/linux_netdev.lua"

 

应用六,网络情况读取

[NetNetstat]
type = "FilePollingInput"
ticker_interval = 1
file_path = "/proc/net/netstat"
decoder = "NetstatDecoder"

[NetSnmp]
type = "FilePollingInput"
ticker_interval = 1
file_path = "/proc/net/snmp"
decoder = "NetstatDecoder"

[NetstatDecoder]
type = "SandboxDecoder"
filename = "lua_decoders/linux_netstat.lua"

© 著作权归作者所有

水东流
粉丝 4
博文 51
码字总数 23858
作品 0
海淀
程序员
私信 提问
Heka - 来自 Mozilla 的插件式数据挖掘工具

近日Mozilla Service团队首次发布了 Heka测试版(v0.2b1),Heka是一款拥有数据收集、分析、监视和报表的工具,采用 Go 语言开发。其主要组件为 hekad,一个适用于任何主机的轻量级守护程序,...

taohongfei
2013/05/03
4.8K
24
Heka配置讲解

基于Heka,ElasticSearch和Kibana的分布式后端日志架构 目前主流的后端日志都采用的标准的elk模式(Elasticsearch,Logstash,Kinaba),分别负责日志存储,收集和日志可视化。 不过介于我们...

乌龟运维
2017/07/04
0
0
美国HEKA发布全球第一款人工智能床垫

原标题:美国HEKA发布全球第一款人工智能床垫   HEKA发布HEKA AI Mattress   近期,美国高端家具定制企业HEKA宣布推出全球第一款人工智能床垫——HEKA AI Mattress。这是一款“超越想象力...

羴羴君
2018/06/18
0
0
Mesos在去哪儿网的应用

Mesos在Qunar DevOps团队内部的应用。 平台介绍 我们是在今年的5月份开始调研并尝试使用Mesos,第一个试点就是我们的日志平台,我们将日志分析全部托管在Mesos平台上。日志平台面向业务线开发...

openthings
2015/12/18
189
1
mysql高级运维dba要掌握的九大工具链

1、配置管理工具:Puppet,Ansible,Chef 2、数据库:Gelera,Mysql,Maria,Percona 3、备份工具:Xtrabackup,Meb 4、分布式文件系统:Ceph,DRBD,GlusterFS 5、分布式中间件:Mycat,Fab...

落叶刀
2016/04/01
304
0

没有更多内容

加载失败,请刷新页面

加载更多

java通过ServerSocket与Socket实现通信

首先说一下ServerSocket与Socket. 1.ServerSocket ServerSocket是用来监听客户端Socket连接的类,如果没有连接会一直处于等待状态. ServetSocket有三个构造方法: (1) ServerSocket(int port);...

Blueeeeeee
今天
6
0
用 Sphinx 搭建博客时,如何自定义插件?

之前有不少同学看过我的个人博客(http://python-online.cn),也根据我写的教程完成了自己个人站点的搭建。 点此:使用 Python 30分钟 教你快速搭建一个博客 为防有的同学不清楚 Sphinx ,这...

王炳明
昨天
5
0
黑客之道-40本书籍助你快速入门黑客技术免费下载

场景 黑客是一个中文词语,皆源自英文hacker,随着灰鸽子的出现,灰鸽子成为了很多假借黑客名义控制他人电脑的黑客技术,于是出现了“骇客”与"黑客"分家。2012年电影频道节目中心出品的电影...

badaoliumang
昨天
15
0
很遗憾,没有一篇文章能讲清楚线程的生命周期!

(手机横屏看源码更方便) 注:java源码分析部分如无特殊说明均基于 java8 版本。 简介 大家都知道线程是有生命周期,但是彤哥可以认真负责地告诉你网上几乎没有一篇文章讲得是完全正确的。 ...

彤哥读源码
昨天
17
0
jquery--DOM操作基础

本文转载于:专业的前端网站➭jquery--DOM操作基础 元素的访问 元素属性操作 获取:attr(name);$("#my").attr("src"); 设置:attr(name,value);$("#myImg").attr("src","images/1.jpg"); ......

前端老手
昨天
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部