文档章节

Fluented,Kubernetes和谷歌云平台——处理日志流的解决方案

Caicloud
 Caicloud
发布于 2016/07/06 17:51
字数 1329
阅读 104
收藏 7

也许你对Fluentd的统一日志记录层已经有所耳闻。可能你对日志是流不是文件这个概念也已经很熟悉,所以现在就让我们用这个方法来思考日志层。

事实上,最后导致决定性的一点就是fluentd是如何被配置的。全部都是关于我们如何处理stream的不同元素的:我们从哪里得到数据,当我们获取到的时候用它来做什么,我们将处理过的数据发送到哪里,以及它们在发送过程中的时候,我们要如何处理它。在这篇博客中,我们会回顾一下这些概念,并且将他们运用到以下案例中:

1、日志从Docker容器中输出命令(但是当容器中止的时候,要保持配置)

2、处理JSON日志

3、通过等级将信息进行分类

4、将数据流分离到两个目的地

事实证明,谷歌云平台和Kubernetes默认设置下已经包括了fluentd日志层输出,这样的话,你就可以精确地做这些事情,但是首先,让我们来看一下fluentd.conf文件中的指令:

 

1、source指令确定输入源

2、match指令确定输出目的地

3、filter指令确定event处理管道

4、system指令设置系统范围的配置

5、label指令将内部路由的输出和过滤器分组

6、@include指令包括其他文件

基本方案(用于日志记录Docker标准输出命令)

现在对于我们的目标来说,我们主要会考虑source和match指令。以下是一个样本,为日志记录命令配置,命令是从一个容器直接到Treasure Data(而且,因为我们的配置是在Ubuntu主机上,所以它不会和Docker容器一起中止!)。

那么,发生了什么呢?

我们的source指令告诉我们正在使用forwardinput plugin,这就告诉fluentd要监听TCP socket来接收event流。

我们有两个match指令。当我们启动容器的时候,最后一个假定我们已经设置了我们的日志记录选项:

--log-opt fluentd-tag=td.docker.{{.Name}}

这条指令告诉我们使用标准输出plugin来打印events到标准输出。

然而,它不仅第一条指令,也是最有趣的一条。现在假定一样的日志记录选项,我们将所有标记有td.*.*的东西都匹配好,并且使用td日志output plugin,将每个console输出作为单个记录输出,发送到一个名为docker的Treasure Data数据库,在这里,表格也同样是Docker容器的名字:

auto_create_table在第一个实例上创建表格。

buffer_type file将缓冲区写入一个文件。

buffer_path在我们的Docker容器上指定缓冲文件路径。

flush_interval 5s在刷新缓冲区时设置了一个5秒的间隔,并且写进了Treasure Data表格。

是不是开始明白这是怎么运作的了?想要了解更多关于fluentd配置和参数,点击这里查看更多文章: http://docs.fluentd.org/articles/config-file

日志记录结果到谷歌云平台

准备好查看fluentd是怎么用谷歌云平台来运行的了吗?让我们来看一些不一样的场景。多亏了Kubernetes团队,使得这些配置(以及跟这些很相似的配置)在github上实现可用。

处理JSON日志

在这里,我们跟踪JSON上的日志,并将日志记录结果到Kubernetes上。我们要处理一下时间戳,所以我们已经包括了time_key和time_format指令。最后,我们用Kubernetes和适当的独特后缀来标注数据流。我们同样也已经指定位置文件,并且设置read_from_head为真。这就使得我们要停止并且重启处理if,由于某些原因,我们的stream就被打断了。

通过不同的层面来分类信息

我们可以追踪不同的信息,使用常规表达方式来查找部分信息,比如格式,层次(严重性),信息,错误(如果有错误的话)和状态码。注意,我们必须在输出上解析时间。再一次,我们使用位置文件来保持我们在stream中的位置。我们应该包括一个match部分来路由数据到一个特定的目的地。

将数据流分离到两个不同的目的地

在这里,我们解析自动定量日志,管理我们的缓冲区,查询和区块大小。在这两个目的地(也就是,GCP和Kubernetes)的案例中,我们一直在重新尝试。

What's next?

你能够自己创建最简单的日志记录基础设施吗?让Fluentd来!

  • fluentd.org

这个网站上有不下于200个输入,也还有其它插件。这里的话,你可以看到他们通过人气降序排列的

  • fluentd.org/plugins/all

如果想要通过分类了解plug-ins,点击上面这个网址

  • fluentd.org/plugins

最后,在这个网站上可以获取Treasure Data(你可以在treasuredata.com上注册一个账号,有14天的试用期)。

 

© 著作权归作者所有

Caicloud
粉丝 18
博文 77
码字总数 153394
作品 0
杭州
程序员
私信 提问
Kubernetes-基于EFK进行统一的日志管理原理

EFK安装部署参考:https://blog.csdn.net/luanpeng825485697/article/details/83312662 1、统一日志管理的整体方案 通过应用和系统日志可以了解Kubernetes集群内所发生的事情,对于调试问题和...

数据架构师
2018/11/01
0
0
视频+PPT | 滴滴如何基于Kubernetes构建容器云平台?

K8S GeekGathering 2018 北京站 2018年1月6日,CNCF Meetup——Kubernetes 2018容器热点私享会在北京创业创新氛围最浓的中关村创业大街热力开趴,由K8S技术社区、EasyStack联合主办,特邀CNC...

K8S技术社区
2018/01/16
0
0
Kubernetes基于EFK进行统一的日志管理方案

1、统一日志管理的整体方案 通过应用和系统日志可以了解Kubernetes集群内所发生的事情,对于调试问题和监视集群活动来说日志非常有用。对于大部分的应用来说,都会具有某种日志机制。因此,大...

店家小二
2018/12/17
0
0
Kubernetes-基于EFK进行统一的日志管理

1、统一日志管理的整体方案 通过应用和系统日志可以了解Kubernetes集群内所发生的事情,对于调试问题和监视集群活动来说日志非常有用。对于大部分的应用来说,都会具有某种日志机制。因此,大...

店家小二
2018/12/14
0
0
Kubernetes 实践案例分享|将 Node.js 应用从 PaaS 平台移动到 Kubernetes Tutorial

在谈到为什么、以及如何将我们的服务迁移到 Kubernetes 的故事之前,需要强调的是,使用 PaaS 平台是完全没错的。如果要开发一个新的产品,PaaS 是一个很完美的平台,同时它还是一个很好的快...

Caicloud
2016/08/12
74
0

没有更多内容

加载失败,请刷新页面

加载更多

linux负载均衡总结性说明 四层负载和七层负载有什么区别

这篇文章主要为大家详细介绍了linux负载均衡的相关资料,什么是负载均衡?四层负载和七层负载有什么区别?具有一定的参考价值,感兴趣的小伙伴们可以参考一下 在常规运维工作中,经常会运用到...

天子剑毅
3分钟前
1
0
mysql in与or效率比较

在网上一直看到的是or和in的效率没啥区别,一直也感觉是这样,前几天刚好在看《mysql数据库开发的36条军规》的文章,里面提到了or和in的效率问题,文中提到or的效率为O(n),而in的效率为O(l...

whatwhowhy
3分钟前
1
0
使用docker 基于pxc镜像搭建mysql高可用集群

前置条件 docker已安装: 第一步:拉取镜像 docker pull percona/percona-xtradb-cluster:5.7.21 第二步:复制重命名镜像(可选) docker tag percona/percona-xtradb-cluster:5.7.21 pxc 第...

小海bug
9分钟前
2
0
windows安装nginx负载均衡

第一步:下载安装nginx 地址:http://nginx.org/en/docs/windows.html 下载完成,比如放在C盘根目录下: cd c:\ unzip nginx-1.15.3.zip //解压文件 cd nginx-1.15.3 //进入目录 start ngin...

你好夜故事
11分钟前
1
0
Jenkins CLI,助你轻松管理 Jenkins

本文首发于:Jenkins 中文社区 作者:Donghui Wang Jenkins CLI,简称 jcli,一个使用 Golang 开发的开源的 Jenkins 命令行工具。 它可以帮忙你轻松地管理 Jenkins。 无论你是 Jenkins 插件开...

Jenkins中文社区
13分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部