Flume
Flume
whitelover 发表于2年前
Flume
  • 发表于 2年前
  • 阅读 32
  • 收藏 0
  • 点赞 0
  • 评论 0

【腾讯云】新注册用户域名抢购1元起>>>   

摘要: Apache Flume 日志收集

Apache flume 官网:http://flume.apache.org/

flume原理及使用:http://www.open-open.com/doc/view/76c85e1d61c3403e8d2b26f0e02dc7e9

参考网站:http://www.ttlsa.com/log-system/about-flume-ng-1/

概览

Flume是一个分布式,可靠,和高可用的海量日志聚合收集系统。它是一个基于流媒体数据流简单而灵活的架构,具有可靠的故障转移和故障恢复机制,通过一个简单的数据模型实现应用在线分析。

Apache flume是一个分布式、可靠和可用的系统,有效地收集、聚合和移动从众多不同来源的海量日志数据并集中存储这些数据。

使用Apache flume不仅限于日志数据聚合,由于数据源是可定制的,flume可以用来传输海量事件数据,这些数据不仅仅是网络流量数据,可以是 social-media-generated数据、电子邮件消息和几乎任何数据源。

Apache flume 是Apache 软件基金会的一个顶级项目;

目前有两个版本可用0.9.x (Flume OG(original generation))和 1.x. , 1.x 以上版本也叫 Flume NG (flume generation);  

以下是简单的日志收集模型:

Agent 使用JVM 运行Flume。每台机器运行一个agent,但是可以在一个agent中包含多个sources和sinks

Client 生产数据,运行在一个独立的线程

Source 从Client收集数据,传递给Channel

Sink 从Channel收集数据,运行在一个独立线程

Channel 连接 sources 和 sinks ,这个有点像一个队列

Events 可以是日志记录、 avro 对象等


  • 打赏
  • 点赞
  • 收藏
  • 分享
共有 人打赏支持
粉丝 12
博文 26
码字总数 10236
×
whitelover
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: