Logstash 时区问题

原创
2020/11/18 14:36
阅读数 1.9K

1. Date Filter 插件


  • 日期过滤器用于分析字段中的日期,然后使用该日期或时间戳作为事件的 logstash 时间戳。

1.1. 配置项

Setting Input type Required Default
locale string No No
match array No []
tag_on_failure array No ["_dateparsefailure"]
target string No "@timestamp"
timezone string No No
1.1.1 locate
  • Value type is string

  • There is no default value for this setting.

  • 使用 IETF-BCP47 或 POSIX 语言标记指定用于日期分析的语言环境。en,en-US 用于 BCP47 或者 en_US 用于 POSIX。

  • 当解析月份名称(MMM模式)和星期几名称(EEE模式)时,如果默认语言环境不是 english,需要设置:

    date {
        locale => "en"
        ...
    }
    
1.1.2. match
  • Value type is array

  • Default value is []

  • 对于非格式化语法,您需要在值的周围放置单引号字符。例如,如果你解析ISO8601时间,“2018-06-01T01:12:23”,你需要这样写:

    date {
        match => ["log_timestamp", "yyyy-MM-dd'T'HH:mm:ss"]
    }
    
  • 如果你需要匹配多种时间格式,如 "2018-06-01T01:23:05Z"、"1529122935988"、"1529122935",你需要这样写:

    date {
        match => ["log_timestamp", "ISO8601", "UNIX", "UNIX_MS"]
    }
    
  • date 插件支持五种时间格式:

    • ISO8601:类似 "2018-06-17T03:44:01.103Z" 这样的格式。具体 Z 后面可以有 "08:00" 也可以没有,".103" 这个也可以没有。常用场景里来说,Nginx 的 log_format 配置里就可以使用 $time_iso8601 变量来记录请求时间成这种格式。
    • UNIX:UNIX 时间戳格式,记录的是从 1970 年起始至今的总秒数。Squid 的默认日志格式中就使用了这种格式。
    • UNIX_MS:这个时间戳则是从 1970 年起始至今的总毫秒数。据我所知,JavaScript 里经常使用这个时间格式。
    • TAI64N:TAI64N 格式比较少见,是这个样子的:@4000000052f88ea32489532c。我目前只知道常见应用中,qmail 会用这个格式。
    • Joda-Time 库:Logstash 内部使用了 Java 的 Joda时间库来作时间处理。所以我们可以使用Joda库所支持的时间格式来作具体定义。
  • Joda时间格式定义见下表:

    Symbol Meaning Presentation Examples
    G era text AD
    C century of era (>=0) number 20
    Y year of era (>=0) year 1996
    x weekyear year 1996
    w week of weekyear number 27
    e day of week number 2
    E day of week text Tuesday; Tue
    y year year 1996
    D day of year number 189
    M month of year month July; Jul; 07
    d day of month number 10
    a halfday of day text PM
    K hour of halfday (0~11) number 0
    h clockhour of halfday (1~12) number 12
    H hour of day (0~23) number 0
    k clockhour of day (1~24) number 24
    m minute of hour number 30
    s second of minute number 55
    S fraction of second number 978
    z time zone text Pacific Standard Time; PST
    Z time zone offset/id zone -0800; -08:00; America/Los_Angeles
    ' escape for text delimiter
    '' single quote literal '
  • 举例:

    example match
    2018-06-01T01:23:05+08:00 yyyy-MM-dd'T'HH:mm:ss+08:00 或 ISO8601
    2018-06-01T01:23:05Z yyyy-MM-dd'T'HH:mm:ssZ 或 ISO8601
    Jun 07 2018 01:23:05 MMM dd yyyy HH:mm:ss (注: locale => "en")
    Jun 7 2018 01:23:05 MMM d yyyy HH:mm:ss (注: locale => "en")
    1529122935988 UNIX_MS
    1529122935 UNIX
1.1.3. tag_on_failure
  • Value type is array
  • Default value is ["_dateparsefailure"]

如果匹配失败,将值附加到 tag 字段。

1.1.4. target
  • Value type is string
  • Default value is "@timestamp"
  • 将匹配的时间戳存储到给定的目标字段中。如果未提供,则默认更新事件的@timestamp字段。
1.1.5. timezone
  • Value type is string

  • There is no default value for this setting.

  • 当需要配置的date里面没有时区信息,而且不是 UTC 时间,需要设置 timezone 参数。

  • 比如匹配北京时间 "2018-06-18 11:10:00",则需要设置:

    date {
        match => ["logdate", "yyyy-MM-dd HH:mm:ss"]
        timezone => "Asia/Chongqing"
    }
    
  • 东八区:

    Standard Offset Canonical ID Aliases
    +08:00 Asia/Chongqing Asia/Chungking
    +08:00 Asia/Hong_Kong Hongkong
    +08:00 Asia/Shanghai PRC
  • 附: timezone列表

2. logstash @timestamp自定义


  • 在ELK组合中我们在 outputs/elasticsearch 中常用的 %{+YYYY.MM.dd} 来创建索引,而这种写法是必须要读 @timestamp 这个字段的。默认情况下 @timestamp 字段显示的是当前时间,但我们可能需要记录的是日志中的字符串类型的时间,所以我们需要把日志中字符串类型的时间覆盖掉 @timestamp 中的当前时间。
input  {
     stdin{}
}
filter {
    grok {
        match => ["message", "%{TIMESTAMP_ISO8601:logdate}"] 
    }
    date {
        match => ["logdate", "yyyy-MM-dd HH:mm:ss.SSS"]
        target => "@timestamp"
    }
    mutate {
        remove => ["logdate"]
    }
}
output{
     stdout{
        codec=>rubydebug{}
     }
}

3. @timestamp 时间少 8 小时


3.1. 5.0 以下版本

input { stdin {} }  
output { stdout { codec => rubydebug } }  
filter {  
  date {  
    match => ["message","UNIX_MS"] # message在实际应用中修改为自己的字段  
    target => "@timestamp"     
  }  
 ruby {   
   code => "event['timestamp'] = LogStash::Timestamp.new(event['@timestamp']+ 8*60*60)"   
 }  
 ruby {  
   code => "event['@timestamp']= event['timestamp']"  
 }  
 mutate {  
   remove_field => ["timestamp"]  
 }  
} 

3.2. 5.x 以上版本

input { stdin {} }  
output { stdout { codec => rubydebug } }  
filter {  
  date {  
    match => ["message","UNIX_MS"]  
    target => "@timestamp"     
  }  
 ruby {   
   code => "event.set('timestamp', event.get('@timestamp').time.localtime + 8*60*60)"   
 }  
 ruby {  
   code => "event.set('@timestamp',event.get('timestamp'))"  
 }  
 mutate {  
   remove_field => ["timestamp"]  
 }  
}

4. index 索引名称少 8 小时


# 1. 增加一个字段,计算timestamp+8小时
ruby { 
    code => "event.set('index_date', event.get('@timestamp').time.localtime + 8*60*60)" 
} 
# 2. 用mutate插件先转换为string类型,gsub只处理string类型的数据,在用正则匹配,最终得到想要的日期
mutate { 
    convert => ["index_date", "string"] 
    gsub => ["index_date", "T([\S\s]*?)Z", ""] 
    gsub => ["index_date", "-", "."] 
}      
# 3.output配置
elasticsearch { 
  hosts => ["localhost:9200"] 
  index => "myindex_%{index_date}" 
}

5. 时区问题的解释


  • 很多中国用户经常提一个问题:为什么 @timestamp 比我们早了 8 个小时?怎么修改成北京时间?

  • 其实,Elasticsearch 内部,对时间类型字段,是统一采用 UTC 时间,存成 long 长整形数据的!对日志统一采用 UTC 时间存储,是国际安全/运维界的一个通识——欧美公司的服务器普遍广泛分布在多个时区里——不像中国,地域横跨五个时区却只用北京时间。

  • 对于页面查看,ELK 的解决方案是在 Kibana 上,读取浏览器的当前时区,然后在页面上转换时间内容的显示。

  • 所以,建议大家接受这种设定。否则,即便你用 .getLocalTime 修改,也还要面临在 Kibana 上反过去修改,以及 Elasticsearch 原有的 ["now-1h" TO "now"] 这种方便的搜索语句无法正常使用的尴尬。

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部