文档章节

Flume

whitelover
 whitelover
发布于 2015/12/24 17:19
字数 393
阅读 32
收藏 0
点赞 0
评论 0

Apache flume 官网:http://flume.apache.org/

flume原理及使用:http://www.open-open.com/doc/view/76c85e1d61c3403e8d2b26f0e02dc7e9

参考网站:http://www.ttlsa.com/log-system/about-flume-ng-1/

概览

Flume是一个分布式,可靠,和高可用的海量日志聚合收集系统。它是一个基于流媒体数据流简单而灵活的架构,具有可靠的故障转移和故障恢复机制,通过一个简单的数据模型实现应用在线分析。

Apache flume是一个分布式、可靠和可用的系统,有效地收集、聚合和移动从众多不同来源的海量日志数据并集中存储这些数据。

使用Apache flume不仅限于日志数据聚合,由于数据源是可定制的,flume可以用来传输海量事件数据,这些数据不仅仅是网络流量数据,可以是 social-media-generated数据、电子邮件消息和几乎任何数据源。

Apache flume 是Apache 软件基金会的一个顶级项目;

目前有两个版本可用0.9.x (Flume OG(original generation))和 1.x. , 1.x 以上版本也叫 Flume NG (flume generation);  

以下是简单的日志收集模型:

Agent 使用JVM 运行Flume。每台机器运行一个agent,但是可以在一个agent中包含多个sources和sinks

Client 生产数据,运行在一个独立的线程

Source 从Client收集数据,传递给Channel

Sink 从Channel收集数据,运行在一个独立线程

Channel 连接 sources 和 sinks ,这个有点像一个队列

Events 可以是日志记录、 avro 对象等


© 著作权归作者所有

共有 人打赏支持
whitelover
粉丝 12
博文 26
码字总数 10236
作品 0
flume 1.7 源码导入eclipse windows

安装maven,设置MAVEN_HOME等配置 下载flume源码 eclipse-oxygen,设置eclipse 使用外部maven,并配置settings.xml 遇到问题: 如果顺利,已将所需jar都下载下来了。 导入后遇到如下问题 fl...

柯里昂
2017/10/31
0
0
Cloudera Flume简介

Flume是Cloudera提供的日志收集系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 Flume是一个分布式...

Javafans
2012/03/12
0
0
Flume日志收集分层架构应用实践

Flume作为一个日志收集工具,非常轻量级,基于一个个Flume Agent,能够构建一个很复杂很强大的日志收集系统,它的灵活性和优势,主要体现在如下几点: 1)模块化设计:在其Flume Agent内部可...

workming
06/29
0
0
解决Flume采集数据时在HDFS上产生大量小文件的问题

问题:flume指定HDFS类型的Sink时,采集数据至HDFS指定目录,会产生大量小文件。 问题重现: 1、创建flume配置文件flume-env.sh,: flume配置文件如下(根据自身需要修改): 因为flume可以...

舒运
06/10
0
0
Flume pull方式和push方式整合

Pull方式 Flume Agent 编写 启动Flume Push方式 Flume Agent的编写 启动flume ==注意在本地和服务器上切换的时候需要修改flume的sink的hostname== 本地测试总结 启动SparkStreaming作业 启动...

Meet相识_bfa5
06/20
0
0
flume对nginx群集日志收集方案

Flume是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 fl...

weijixian1015
06/26
0
0
Flume NG 简介及配置实战

Flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera。但随着 FLume 功能的扩展,...

大数据之路
2014/07/08
0
9
kafka来读取flume的数据

一、查看kafka topic ./kafka-topics.sh --list --zookeeper bigdata-test-3:2181, bigdata-test-2:2181, bigdata-test-1:2181, bigdata-test-4:2181, bigdata-test-5:2181 ./kafka-topics.s......

weixin_41876523
05/24
0
0
Flume框架简单介绍(34)

Flume是一个分布式的海量数据收集框架. Flume框架流程图 Channel是缓存的数据,如果Sink传送给了HDFS,Channel中缓存的数据就会删除,如果没有传送成功,Channel相当于做了备份,Sink重复从C...

肖鋭
2014/04/06
0
0
flume-ng 1.5.0安装部署

1.安装环境:jdk1.7 ,flume-ng-1.5.0.tar.gz 2.解压flume-ng-1.5.0.tar.gz tar zxf flume-ng-1.5.0.tar.gz 3. 修改flume配置,指定JAVAHOME,FLUMEHOME vi flume-env.sh JAVAHOME=/usr/java/j......

super_yu
2015/10/26
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

spring boot中swagger2使用

1.pom.xml中添加 <dependency> <groupId>io.springfox</groupId> <artifactId>springfox-swagger2</artifactId> <version>2.9.2</version>......

说回答
9分钟前
0
0
tomcat虚拟路径的几种配置方法

tomcat虚拟路径的几种配置方法 一般我们都是直接引用webapps下面的web项目,如果我们要部署一个在其它地方的WEB项目,这就要在TOMCAT中设置虚拟路径了,Tomcat的加载web顺序是先加载 $Tomcat_ho...

Helios51
22分钟前
1
0
Mac 安装jupyter notebook的过程

MAC台式机 python:mac下自带Python 2.7.10 1.先升级了pip安装工具:sudo python -m pip install --upgrade --force pip 2.安装setuptools 工具:sudo pip install setuptools==33.1.1 3.安装......

火力全開
27分钟前
0
0
导航守卫解释与例子

“导航”表示路由正在发生改变。 正如其名,vue-router 提供的导航守卫主要用来通过跳转或取消的方式守卫导航。有多种机会植入路由导航过程中:全局的, 单个路由独享的, 或者组件级的。 记住...

tianyawhl
27分钟前
0
0
Java日志框架-logback配置文件多环境日志配置(开发、测试、生产)(原始解决方法)

说明:这种方式应该算是最通用的,原理是通过判断标签实现。 <!-- if-then form --> <if condition="some conditional expression"> <then> ... </then> </if> ......

浮躁的码农
41分钟前
1
0
FTP传输时的两种登录方式和区别

登录方式 匿名登录 用户名为: anonymous。 密码为:任何合法 email 地址。 授权登录 用户名为:用户在远程系统中的用户帐号。 密码为:用户在远程系统中的用户密码。 区别 匿名登录 只能访问...

寰宇01
43分钟前
0
0
plsql developer 配置监听(不安装oracle客户端)

plsql developer 配置监听(不安装oracle客户端)

微小宝
50分钟前
1
0
数据库(分库分表)中间件对比

本人的宗旨就是,能copy的,绝对不手写。 分区:对业务透明,分区只不过把存放数据的文件分成了许多小块,例如mysql中的一张表对应三个文件.MYD,MYI,frm。 根据一定的规则把数据文件(MYD)和索...

奔跑吧代码
53分钟前
2
0
Netty与Reactor模式详解

在学习Reactor模式之前,我们需要对“I/O的四种模型”以及“什么是I/O多路复用”进行简单的介绍,因为Reactor是一个使用了同步非阻塞的I/O多路复用机制的模式。 I/O的四种模型 I/0 操作 主要...

hutaishi
今天
1
0
【2018.07.16学习笔记】【linux高级知识 20.16-20.19】

20.16/20.17 shell中的函数 20.18 shell中的数组 20.19 告警系统需求分析

lgsxp
今天
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部