文档章节

Flume

whitelover
 whitelover
发布于 2015/12/24 17:19
字数 393
阅读 32
收藏 0

Apache flume 官网:http://flume.apache.org/

flume原理及使用:http://www.open-open.com/doc/view/76c85e1d61c3403e8d2b26f0e02dc7e9

参考网站:http://www.ttlsa.com/log-system/about-flume-ng-1/

概览

Flume是一个分布式,可靠,和高可用的海量日志聚合收集系统。它是一个基于流媒体数据流简单而灵活的架构,具有可靠的故障转移和故障恢复机制,通过一个简单的数据模型实现应用在线分析。

Apache flume是一个分布式、可靠和可用的系统,有效地收集、聚合和移动从众多不同来源的海量日志数据并集中存储这些数据。

使用Apache flume不仅限于日志数据聚合,由于数据源是可定制的,flume可以用来传输海量事件数据,这些数据不仅仅是网络流量数据,可以是 social-media-generated数据、电子邮件消息和几乎任何数据源。

Apache flume 是Apache 软件基金会的一个顶级项目;

目前有两个版本可用0.9.x (Flume OG(original generation))和 1.x. , 1.x 以上版本也叫 Flume NG (flume generation);  

以下是简单的日志收集模型:

Agent 使用JVM 运行Flume。每台机器运行一个agent,但是可以在一个agent中包含多个sources和sinks

Client 生产数据,运行在一个独立的线程

Source 从Client收集数据,传递给Channel

Sink 从Channel收集数据,运行在一个独立线程

Channel 连接 sources 和 sinks ,这个有点像一个队列

Events 可以是日志记录、 avro 对象等


© 著作权归作者所有

共有 人打赏支持
下一篇: 架构案例
whitelover
粉丝 12
博文 26
码字总数 10236
作品 0
私信 提问
Apache Flume 1.6.0 发布,日志服务器

Apache Flume 1.6.0 发布,此版本现已提供下载: http://flume.apache.org/download.html 更新内容: ** Bug 修复 [FLUME-1793] - Unit test TestElasticSearchLogStashEventSerializer fail......

oschina
2015/06/03
3.1K
2
Apache Flume 1.5.0 发布,日志服务器

Apache Flume 1.5.0 发布,Flume 是一个分布式、可靠和高可用的服务,用于收集、聚合以及移动大量日志数据,使用一个简单灵活的架构,就流数据模型。这是一个可靠、容错的服务。 改进内容包括...

oschina
2014/05/22
2.8K
4
Apache Flume 1.7.0 发布,日志服务器

Apache Flume 1.7.0 发布了,Flume 是一个分布式、可靠和高可用的服务,用于收集、聚合以及移动大量日志数据,使用一个简单灵活的架构,就流数据模型。这是一个可靠、容错的服务。 本次更新如...

局长
2016/10/19
2K
3
Apache Flume 1.9.0 发布,日志服务器

Apache Flume 1.9.0 发布了,Flume 是一个分布式、可靠和高可用的服务,用于收集、聚合以及移动大量日志数据,使用一个简单灵活的架构,就流数据模型。这是一个可靠、容错的服务。 本次更新如...

程六金
01/10
0
0
Apache Flume 1.3.1 发布,日志服务器

Flume 是一个分布式、可靠和高可用的服务,用于收集、聚合以及移动大量日志数据,使用一个简单灵活的架构,就流数据模型。这是一个可靠、容错的服务。 Apache Flume 1.3.1 发布了,详细改进内...

oschina
2013/01/04
2.2K
1

没有更多内容

加载失败,请刷新页面

加载更多

MySQL update select 组合

组合公式如下 update tab_a a inner join tab_b b  set a.m =  b.m where a.n = b.n

皮皮猫32
18分钟前
1
0
向高手进阶,从 0 开始手写实现一个 RPC 框架!

前言 在实际后台服务开发中,比如订单服务(开发者A负责)需要调用商品服务(开发者B负责),那么开发者B会和A约定调用API,以接口的形式提供给A。通常都是B把API上传到Maven私服,然后B开始...

Java填坑路
20分钟前
2
0
漫说安全|智能的云WAF,开挂的Web防御

“漫说安全”是我们推出的一个新栏目,以简洁明了的形式展现高深晦涩的云安全。 今天我们要讲的是智能的云WAF到底有啥“本领”,答案就在漫画里^_^ 漫画看完后估计你还会有些小疑问,不要着急...

阿里云官方博客
22分钟前
0
0
数据恢复

111

ziluopao
23分钟前
0
0
记录IL2Cpp的编译过程

编者注 由于Windows 10重启,丢失部分文档,下面内容能补则补吧 需求 由于需要发布并简单处理,则使用IL2Cpp进行,编译过程和运行过程碰到很多问题,特此记录 编译过程 找不到类内部的枚举 ...

抢小孩糖吃
31分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部