文档章节

rsyslog队列参数

MrYx3en
 MrYx3en
发布于 2015/11/18 10:17
字数 1751
阅读 195
收藏 0
点赞 0
评论 0

global (

    maxMessageSize="32m"

    workDirectory="/data1/sinawap/rsyslog"        #定义工作目录。列队写磁盘文件的存储文件夹

    preserveFQDN="on"

    action.reportSuspension="on"

)

main_queue (

    queue.filename="mainQ"

    queue.type="linkedlist"        #选择使用内存队列模式

    queue.size="600000"        #队列大小

    queue.timeoutenqueue="1000"        #进队列超时时间(1000ms)

    queue.maxfilesize="512M"        #队列单文件尺寸大小

    queue.maxdiskspace="50G"        #限制磁盘队列大小,最大50G

    queue.dequeuebatchsize="50000"        #优化宽带,设置每批次传输元素量,尽可能每次传输更多的数据

    queue.workerthreads="4"        #队列工作线程数

    queue.workerthreadminimummessages="100000"

    queue.discardseverity="3"        #丢弃消息等级设定,数字越低丢的越多,设置为8代表禁止丢弃消息

    queue.highwatermark="480000"        #当内存队列数量达到设置的值时,开始回写磁盘

    queue.lowwatermark="120000"        #当内存队列小于设置的值时,停止回写磁盘

    queue.checkpointinterval="10"

    queue.timeoutshutdown="10"

    queue.timeoutactioncompletion="10"

    queue.timeoutworkerthreadshutdown="10"

    queue.saveonshutdown="on"

)


----------------------------------------------------------------分割线--------------------------------------------------------------------------

1、客户端

$ModLoad immark # provides --MARK-- message capability

$ModLoad imuxsock # provides support for local system logging (e.g. via logger command)

$ModLoad imklog # kernel logging (formerly provided by rklogd)

$ModLoad lmregexp

#$ModLoad omhdfs

#$ModLoad imudp

#$UDPServerRun 514

$SystemLogRateLimitInterval 0

*.info;mail.none;authpriv.none; cron .none;local5.none;local6.none - /var/log/messages

authpriv.* - /var/log/secure

mail.* - /var/log/maillog

# Log cron stuff

cron .* - /var/log/cron

# Everybody gets emergency messages

*.emerg *

uucp,news.crit - /var/log/spooler

local7.* /var/log/boot .log

#real tran log

$ModLoad imfile #装载imfile模块

$InputFileName /data2/logs/ssologs .log #读取日志文件

$InputFileTag login.sina.com.cn: #日志写入日志附加标签字符串

$InputFileFacility local5 #日志类型

$InputFileSeverity info #日志等级

$InputFileStateFile ssologs.log_state #定义记录偏移量数据文件名

$InputFilePollInterval 1 #检查日志文件间隔(秒)

$InputFilePersistStateInterval 1 #回写偏移量数据到文件间隔时间(秒)

$InputRunFileMonitor #激活读取,可以设置多组日志读取,每组结束时设置本参数。以示生效。


#接收队列

$WorkDirectory /data2/logs/ #定义工作目录。例如队列文件存储存储文件夹。

$MainMsgQueueType LinkedList #选择使用内存队列模式。

$MainMsgQueueFileName local5.main #如果队列模式使用内存模式,同时在配置这个参数,意味激活磁盘附加队列。

$MainMsgQueueHighWatermark 10000 #当内存队列达到这些元素时,开始回写磁盘。

$MainMsgQueueLowWatermark 1000 #当内存队列小于这些元素时,停止回写磁盘。

$MainMsgQueueMaxDiskSpace 20g #限制磁盘队列大小,参数疑似20GByte。

$MainMsgQueueMaxFileSize 200m #队列单文件尺寸大小。

$MainMsgQueueSaveOnShutdown on #在rsyslogd关闭时,要保存队列中数据。

$MainMsgQueueDiscardSeverity 8 #丢弃消息等级设定,数字越低丟的越多,设置8代表禁止丢弃消息。

$MainMsgQueueDiscardMark 1000000000 #超出10亿后,会禁止新消息入队,丢弃消息。如果前一个被禁止, #那么丢弃数据将无针对性,如果

$MainMsgQueueTimeoutEnqueue 3000 #超时3秒,TCP或local_socket方式下,预防资源夯住,引起崩溃。

$MainMsgQueueDequeueBatchSize 500 #优化带宽,设置每批次传输元素量,尽可能每次传输更多的数据。


#发送队列(可以部署多个)

$ActionForwardDefaultTemplate RSYSLOG_ForwardFormat #定义转发消息格式模板,使用系统默认转发格式。

$WorkDirectory /data2/logs/ #定义工作目录。例如队列文件存储存储文件夹。

$ActionQueueType LinkedList #选择使用内存队列模式。

$ActionQueueFileName local5.forward #如果队列模式使用内存模式,同时在配置这个参数,意味激活磁盘附加队列。

$ActionQueueHighWatermark 10000 #当内存队列达到这些元素时,开始回写磁盘。

$ActionQueueLowWatermark 1000 #当内存队列小于这些元素时,停止回写磁盘。

$ActionQueueMaxDiskSpace 20g #限制磁盘队列大小,参数疑似20GByte。

$ActionQueueMaxFileSize 200m #队列单文件尺寸大小。

$ActionResumeRetryCount -1 #失败后重试次数,-1 代表无限。

$ActionQueueSaveOnShutdown on #在rsyslogd关闭时,要保存队列中数据。

$ActionQueueDiscardSeverity 8 #丢弃消息等级设定,数字越低丟的越多,设置8代表禁止丢弃消息。

$ActionQueueDiscardMark 1000000000 #超出10亿后,会禁止新消息入队,丢弃消息。如果前一个被禁止,

  #那么丢弃数据将无针对性,如果

$ActionQueueTimeoutEnqueue 3000 #超时3秒,TCP或local_socket方式下,预防资源夯住,引起崩溃。

$ActionQueueDequeueBatchSize 500 #优化带宽,设置每批次传输元素量,尽可能每次传输更多的数据。

local5.* @@10.69.56.39;RSYSLOG_ForwardFormat #发送local5类型数据,以系统默认格式转发到目标服务器。


2. 服务器端

$ModLoad immark # provides --MARK-- message capability

$ModLoad imuxsock # provides support for local system logging (e.g. via logger command)

$ModLoad imklog # kernel logging (formerly provided by rklogd)

$ModLoad lmregexp

$ModLoad omhdfs

#$ModLoad imudp

#$UDPServerRun 514

*.info;mail.none;authpriv.none; cron .none;local5.none;local6.none - /var/log/messages

authpriv.* /var/log/secure

mail.* - /var/log/maillog

# Log cron stuff

cron .* - /var/log/cron

# Everybody gets emergency messages

*.emerg *

uucp,news.crit - /var/log/spooler

local7.* /var/log/boot .log

# TCP Syslog Server:

$ModLoad imtcp.so # load module

$InputTCPServerRun 514 # start up TCP listener at port 514

$InputTCPMaxSessions 1000

# UDP Syslog Server:


#接收队列

$WorkDirectory /data2/logs/ #定义工作目录。例如队列文件存储存储文件夹。

$MainMsgQueueType LinkedList #选择使用内存队列模式。

$MainMsgQueueFileName local5.main #如果队列模式使用内存模式,同时在配置这个参数,意味激活磁盘附加队列。

$MainMsgQueueHighWatermark 10000 #当内存队列达到这些元素时,开始回写磁盘。

$MainMsgQueueLowWatermark 1000 #当内存队列小于这些元素时,停止回写磁盘。

$MainMsgQueueMaxDiskSpace 20g #限制磁盘队列大小,参数疑似20GByte。

$MainMsgQueueMaxFileSize 200m #队列单文件尺寸大小。

$MainMsgQueueSaveOnShutdown on #在rsyslogd关闭时,要保存队列中数据。

$MainMsgQueueDiscardSeverity 8 #丢弃消息等级设定,数字越低丟的越多,设置8代表禁止丢弃消息。

$MainMsgQueueDiscardMark 1000000000 #超出10亿后,会禁止新消息入队,丢弃消息。如果前一个被禁止, #那么丢弃数据将无针对性,如果

$MainMsgQueueTimeoutEnqueue 3000 #超时3秒,TCP或local_socket方式下,预防资源夯住,引起崩溃。

$MainMsgQueueDequeueBatchSize 500 #优化带宽,设置每批次传输元素量,尽可能每次传输更多的数据。


#发送队列(可以部署多个)

$ActionForwardDefaultTemplate RSYSLOG_ForwardFormat #定义转发消息格式模板,使用系统默认转发格式。

$WorkDirectory /data2/logs/ #定义工作目录。例如队列文件存储存储文件夹。

$ActionQueueType LinkedList #选择使用内存队列模式。

$ActionQueueFileName local5.forward #如果队列模式使用内存模式,同时在配置这个参数,意味激活磁盘附加队列。

$ActionQueueHighWatermark 10000 #当内存队列达到这些元素时,开始回写磁盘。

$ActionQueueLowWatermark 1000 #当内存队列小于这些元素时,停止回写磁盘。

$ActionQueueMaxDiskSpace 20g #限制磁盘队列大小,参数疑似20GByte。

$ActionQueueMaxFileSize 200m #队列单文件尺寸大小。

$ActionResumeRetryCount -1 #失败后重试次数,-1 代表无限。

$ActionQueueSaveOnShutdown on #在rsyslogd关闭时,要保存队列中数据。

$ActionQueueDiscardSeverity 8 #丢弃消息等级设定,数字越低丟的越多,设置8代表禁止丢弃消息。

$ActionQueueDiscardMark 1000000000 #超出10亿后,会禁止新消息入队,丢弃消息。如果前一个被禁止,

  #那么丢弃数据将无针对性,如果


$ActionQueueTimeoutEnqueue 3000 #超时3秒,TCP或local_socket方式下,预防资源夯住,引起崩溃。

$ActionQueueDequeueBatchSize 500 #优化带宽,设置每批次传输元素量,尽可能每次传输更多的数据。

$ModLoad omprog

$template ssolog, "%fromhost-ip% %syslogtag% %msg%\n"

$ActionOMProgBinary /etc/dAppCluster/rsyslog .receiver.php

if $syslogfacility-text == 'local5' and $syslogtag startswith 'login.sina.com.cn' then :omprog:;ssolog

local5.* /data1/logs/rsyslog/ssologs .log;ssolog


本文转载自:http://www.tuicool.com/articles/Jv2eUvn

共有 人打赏支持
MrYx3en
粉丝 9
博文 88
码字总数 30598
作品 0
宝鸡
系统管理员
RSYSLOG服务实时传输日志配置

RSYSLOG服务实时传输日志配置 一个项目中涉及到rsyslog的使用,配置。 简单介绍一下,就是读取本地一个文件,通过rsyslog实时传输到远端的服务器,然后使用rsyslog.receiver.php分拣处理。 ...

憬薇 ⋅ 2017/08/15 ⋅ 0

rsyslog 日志服务器使用

简介 准备 详解 日志类型 日志级别 主要配置文件和意义 增加讲解一个重要特性(队列) 队列是 rsyslog 的核心。下图展示了rsyslog处理消息的流程: 队列分为 Main Queue 和 Action Queue 队列,...

2688 ⋅ 2016/01/21 ⋅ 0

rsyslog参数说明

下文出现的配置指令中,请将 “<object>” 根据情况替换为 “MainMsg” 或 “Action”。 前者对应主消息队列,后者对应将要创建的动作对应的队列。 每定义一个动作都会相应的创建一个动作队列...

木头 ⋅ 2016/07/02 ⋅ 0

rsyslog配置解析

RSYSLOG is the rocket-fast system for log processing. 本地Rsyslog版本: 配置 基本语法 Rsyslog 现在支持三种配置语法格式: sysklogd legacy rsyslog RainerScript sysklogd 是老的简单格......

憬薇 ⋅ 2017/09/19 ⋅ 0

rsyslog服务测试

rsyslog severity Numerical Code Severity Description0 emerg system is unusable1 alert action must be taken immediately2 crit critical conditions3 error error conditions4 warning......

thegoodduke ⋅ 2014/01/02 ⋅ 0

rsyslog 8.6.0 (v8-stable) 发布

Rsyslog 是一个 syslogd 的多线程增强版。 rsyslog 8.6.0 (v8-stable) 发布,此版本是新发布版本周期的第一个稳定版本。 新版本周期和新模式详情请看这里: http://www.rsyslog.com/rsyslog...

oschina ⋅ 2014/12/03 ⋅ 0

rsyslog 8.9.0 发布,syslogd 多线程增强版

Rsyslog 是一个 syslogd 的多线程增强版。 rsyslog 8.9.0 (v8-stable) 发布,此版本主要是个 bug 修复版本,包括一些 omprog,imuxsock 和零信息队列插件的改进。 更新日志: http://www.rsy...

oschina ⋅ 2015/04/08 ⋅ 0

Rsyslog 8.21.0 (v8-stable) 发布

Rsyslog 8.21.0 (v8-stable) 发布了,Rsyslog 是一个 syslogd 的多线程增强版。这次发布的更新多数是维护性的更新。有一个大的改变是处理内部信息的方式,不会再通过 internal bridge 进行记...

局长 ⋅ 2016/08/24 ⋅ 0

rsyslog日志服务器搭建

第1章 简介 1.1 Rsyslog介绍 rsyslog是比syslog功能更强大的日志记录系统,可以将日志输出到文件,数据库和其它程序。 ryslog 是一个快速处理收集系统日志的程序,提供了高性能、安全功能和模...

浅景尘 ⋅ 2017/11/08 ⋅ 0

Rsyslog队列信息表示的含义

rsyslog 有专门的 impstats 模块,输出本身运行情况的统计; enqueued 表示进入队列的条目数, size 表示暂存在内存中的条目数, discarded.full 表示队列满丢弃的条目数, discarded.nf 表示...

MrYx3en ⋅ 2015/11/13 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

来自一个优秀Java工程师的简历

写在前面: 鉴于前几天的一份前端简历,虽然带着很多不看好的声音,但却帮助了很多正在求职路上的人,不管评论怎么说,我还是决定要贴出一份后端的简历。 XXX ID:357912485 目前正在找工作 ...

颖伙虫 ⋅ 9分钟前 ⋅ 0

Confluence 6 恢复一个站点有关使用站点导出为备份的说明

推荐使用生产备份策略。我们推荐你针对你的生产环境中使用的 Confluence 参考 Production Backup Strategy 页面中的内容进行备份和恢复(这个需要你备份你的数据库和 home 目录)。XML 导出备...

honeymose ⋅ 今天 ⋅ 0

JavaScript零基础入门——(九)JavaScript的函数

JavaScript零基础入门——(九)JavaScript的函数 欢迎回到我们的JavaScript零基础入门,上一节课我们了解了有关JS中数组的相关知识点,不知道大家有没有自己去敲一敲,消化一下?这一节课,...

JandenMa ⋅ 今天 ⋅ 0

火狐浏览器各版本下载及插件httprequest

各版本下载地址:http://ftp.mozilla.org/pub/mozilla.org//firefox/releases/ httprequest插件截至57版本可用

xiaoge2016 ⋅ 今天 ⋅ 0

Docker系列教程28-实战:使用Docker Compose运行ELK

原文:http://www.itmuch.com/docker/28-docker-compose-in-action-elk/,转载请说明出处。 ElasticSearch【存储】 Logtash【日志聚合器】 Kibana【界面】 答案: version: '2'services: ...

周立_ITMuch ⋅ 今天 ⋅ 0

使用快嘉sdkg极速搭建接口模拟系统

在具体项目研发过程中,一旦前后端双方约定好接口,前端和app同事就会希望后台同事可以尽快提供可供对接的接口方便调试,而对后台同事来说定好接口还仅是个开始、设计流程,实现业务逻辑,编...

fastjrun ⋅ 今天 ⋅ 0

PXE/KickStart 无人值守安装

导言 作为中小公司的运维,经常会遇到一些机械式的重复工作,例如:有时公司同时上线几十甚至上百台服务器,而且需要我们在短时间内完成系统安装。 常规的办法有什么? 光盘安装系统 ===> 一...

kangvcar ⋅ 昨天 ⋅ 0

使用Puppeteer撸一个爬虫

Puppeteer是什么 puppeteer是谷歌chrome团队官方开发的一个无界面(Headless)chrome工具。Chrome Headless将成为web应用自动化测试的行业标杆。所以我们很有必要来了解一下它。所谓的无头浏...

小草先森 ⋅ 昨天 ⋅ 0

Java Done Right

* 表示难度较大或理论性较强。 ** 表示难度更大或理论性更强。 【Java语言本身】 基础语法,面向对象,顺序编程,并发编程,网络编程,泛型,注解,lambda(Java8),module(Java9),var(...

风华神使 ⋅ 昨天 ⋅ 0

Linux系统日志

linux 系统日志 /var/log/messages /etc/logrotate.conf 日志切割配置文件 https://my.oschina.net/u/2000675/blog/908189 logrotate 使用详解 dmesg 命令 /var/log/dmesg 日志 last命令,调......

Linux学习笔记 ⋅ 昨天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部