文档章节

Flume

whitelover
 whitelover
发布于 2015/12/24 17:19
字数 393
阅读 32
收藏 0

Apache flume 官网:http://flume.apache.org/

flume原理及使用:http://www.open-open.com/doc/view/76c85e1d61c3403e8d2b26f0e02dc7e9

参考网站:http://www.ttlsa.com/log-system/about-flume-ng-1/

概览

Flume是一个分布式,可靠,和高可用的海量日志聚合收集系统。它是一个基于流媒体数据流简单而灵活的架构,具有可靠的故障转移和故障恢复机制,通过一个简单的数据模型实现应用在线分析。

Apache flume是一个分布式、可靠和可用的系统,有效地收集、聚合和移动从众多不同来源的海量日志数据并集中存储这些数据。

使用Apache flume不仅限于日志数据聚合,由于数据源是可定制的,flume可以用来传输海量事件数据,这些数据不仅仅是网络流量数据,可以是 social-media-generated数据、电子邮件消息和几乎任何数据源。

Apache flume 是Apache 软件基金会的一个顶级项目;

目前有两个版本可用0.9.x (Flume OG(original generation))和 1.x. , 1.x 以上版本也叫 Flume NG (flume generation);  

以下是简单的日志收集模型:

Agent 使用JVM 运行Flume。每台机器运行一个agent,但是可以在一个agent中包含多个sources和sinks

Client 生产数据,运行在一个独立的线程

Source 从Client收集数据,传递给Channel

Sink 从Channel收集数据,运行在一个独立线程

Channel 连接 sources 和 sinks ,这个有点像一个队列

Events 可以是日志记录、 avro 对象等


© 著作权归作者所有

共有 人打赏支持
whitelover
粉丝 12
博文 26
码字总数 10236
作品 0
flume 1.7 源码导入eclipse windows

安装maven,设置MAVEN_HOME等配置 下载flume源码 eclipse-oxygen,设置eclipse 使用外部maven,并配置settings.xml 遇到问题: 如果顺利,已将所需jar都下载下来了。 导入后遇到如下问题 fl...

柯里昂
2017/10/31
0
0
Cloudera Flume简介

Flume是Cloudera提供的日志收集系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 Flume是一个分布式...

Javafans
2012/03/12
0
0
Flume日志收集分层架构应用实践

Flume作为一个日志收集工具,非常轻量级,基于一个个Flume Agent,能够构建一个很复杂很强大的日志收集系统,它的灵活性和优势,主要体现在如下几点: 1)模块化设计:在其Flume Agent内部可...

workming
06/29
0
0
Flume学习系列(一)----总体介绍

前言: 本文是flume学习系列的开篇,主要介绍了flume的各种组件及相关配置。但是本篇文章并不打算从环境搭建开始,因为比较简单而且网上资料也很详尽: So,研读了一下官方文档,特此把Flume...

小北觅
08/20
0
0
Flume pull方式和push方式整合

Pull方式 Flume Agent 编写 启动Flume Push方式 Flume Agent的编写 启动flume ==注意在本地和服务器上切换的时候需要修改flume的sink的hostname== 本地测试总结 启动SparkStreaming作业 启动...

Meet相识_bfa5
06/20
0
0

没有更多内容

加载失败,请刷新页面

加载更多

20180920 rzsz传输文件、用户和用户组相关配置文件与管理

利用rz、sz实现Linux与Windows互传文件 [root@centos01 ~]# yum install -y lrzsz # 安装工具sz test.txt # 弹出对话框,传递到选择的路径下rz # 回车后,会从对话框中选择对应的文件传递...

野雪球
今天
1
0
OSChina 周四乱弹 —— 毒蛇当辣条

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @ 达尔文:分享花澤香菜/前野智昭/小野大輔/井上喜久子的单曲《ミッション! 健?康?第?イチ》 《ミッション! 健?康?第?イチ》- 花澤香菜/前野智...

小小编辑
今天
7
3
java -jar运行内存设置

java -Xms64m #JVM启动时的初始堆大小 -Xmx128m #最大堆大小 -Xmn64m #年轻代的大小,其余的空间是老年代 -XX:MaxMetaspaceSize=128m # -XX:CompressedClassSpaceSize=6...

李玉长
今天
3
0
Spring | 手把手教你SSM最优雅的整合方式

HEY 本节主要内容为:基于Spring从0到1搭建一个web工程,适合初学者,Java初级开发者。欢迎与我交流。 MODULE 新建一个Maven工程。 不论你是什么工具,选这个就可以了,然后next,直至finis...

冯文议
今天
2
0
RxJS的另外四种实现方式(四)——性能最高的库(续)

接上一篇RxJS的另外四种实现方式(三)——性能最高的库 上一篇文章我展示了这个最高性能库的实现方法。下面我介绍一下这个性能提升的秘密。 首先,为了弄清楚Most库究竟为何如此快,我必须借...

一个灰
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部