文档章节

Flume框架简单介绍(34)

肖鋭
 肖鋭
发布于 2014/04/06 20:44
字数 483
阅读 276
收藏 2

        Flume是一个分布式的海量数据收集框架.

        Flume框架流程图

                        

            Channel是缓存的数据,如果Sink传送给了HDFS,Channel中缓存的数据就会删除,如果没有传送成功,Channel相当于做了备份,Sink重复从Channel中取数据.

            在hadoop0上部署一个Flume agent

            1、把apache-flume-1.4.0-bin.tar.gz和apache-flume-1.4.0-src.tar.gz在hadoop0上解压缩.

            2、把解压缩后的apache-flume-1.4.0-src文件夹中的内容全部复制到apache-flume-1.4.0.-bin文件夹中.

            3、修改conf目录下的两个文件的名称,一个是flume-env.sh,一个是flume-conf.properties.

                  其中在flume-env.sh中设置了JAVA_HOME值.

            4、实例:把磁盘文件夹中文件通过flume上传到HDFS中.

            4.1 在conf目录下创建一个文件,叫做test.conf,文件内容如下:

                  #配置代理
                  #a1是一个代理名称,s1是source的名称,sink1是sink的名称,c1是channel的名称
                  a1.sources = s1
                  a1.sinks = sink1
                  a1.channels = c1
                  #配置一个专用于从文件夹中读取数据的source
                  a1.sources.s1.type = spooldir
                  a1.sources.s1.spoolDir = /apache_logs #值apache_logs表示数据文件的目录
                  a1.sources.s1.fileSuffix=.abc   #值.abc表示数据文件被处理完后,被重命名的文件名后缀
                  a1.sources.s1.channels = c1    #值c1表示source接收数据后送到的channel的名称
                  #配置一个专用于把输入写入到hdfs的sink
                  a1.sinks.sink1.type = hdfs
                  a1.sinks.sink1.hdfs.path=hdfs://hadoop0:9000/apache_logs  #值表示目的地
                  a1.sinks.sink1.hdfs.fileType=DataStream #值DataStream表示文件类型,是不经过压缩的
                  a1.sinks.sink1.hdfs.writeFormat=Text #值表示写出文件原内容
                  a1.sinks.sink1.channel = c1    #值c1表示sink处理数据的来源
                  #配置一个内存中处理的channel
                  a1.channels.c1.type = memory
                  a1.channels.c1.capacity = 1000
                  a1.channels.c1.transactionCapacity = 100

        

                  运行:[root@hadoop conf]# ../bin/flume-ng agent --conf conf --conf-file test.conf --name a1 -Dflume.root.looger=DEBUG,console

 

                                                                                                                            Name:Xr

                                                                                                                            Date:2014-04-06 20:44

© 著作权归作者所有

上一篇: Hive介绍(35)
下一篇: Hbase简单搭建(33)
肖鋭
粉丝 10
博文 62
码字总数 29531
作品 0
朝阳
程序员
私信 提问
大数据教程(12.5)日志采集框架Flume

前面的章节介绍了hive的知识,本节博主将分享日志采集框架Flume的相关知识。在一个完整的大数据处理系统中,除了hdfs+mapreduce+hive组成分析系统的核心之外,还需要数据采集、结果数据导出、...

em_aaron
2019/02/12
127
0
Flume学习系列(一)----总体介绍

前言: 本文是flume学习系列的开篇,主要介绍了flume的各种组件及相关配置。但是本篇文章并不打算从环境搭建开始,因为比较简单而且网上资料也很详尽: So,研读了一下官方文档,特此把Flume...

小北觅
2018/08/20
0
0
Apache Flume 1.9.0 发布,日志服务器

Apache Flume 1.9.0 发布了,Flume 是一个分布式、可靠和高可用的服务,用于收集、聚合以及移动大量日志数据,使用一个简单灵活的架构,就流数据模型。这是一个可靠、容错的服务。 本次更新如...

程六金
2019/01/10
2.1K
4
使用Flume将日志导入OSS

前言 Apache Flume是一个高可用、高可靠的分布式日志采集、聚合与传输的系统。它基于流式的数据传输,架构简单、灵活。它简单可扩展的模型,也适合在线的数据分析。 上图是它的简单数据流模型...

冷月_wjh
2018/08/29
0
0
玩转Flume+Kafka原来也就那点事儿

作者介绍 程超,易宝支付架构师,10年JAVA工作经验,擅长分布式和大数据技术领域,目前主要从事金融支付类方性能分析向。 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系...

程超
2016/09/13
0
0

没有更多内容

加载失败,请刷新页面

加载更多

toast组件单元测试

先看是否存在 describe('Toast', () => { it('存在.', () => { expect(Toast).to.be.exist }) }); 看属性,我们要测 ToastVue 和 plugin.js describe('Toast', () =>......

ories
21分钟前
57
0
如何将整个MySQL数据库字符集和排序规则转换为UTF-8?

如何将整个MySQL数据库字符集转换为UTF-8并将排序规则转换为UTF-8? #1楼 在命令行外壳上 如果您是命令行外壳程序之一,则可以非常快速地执行此操作。 只需填写“ dbname”:D DB="dbname"(...

javail
今天
80
0
开源矿工系统内部的层

开源矿工系统内部的层 所谓“层”、“界”、“域”、“集合”,这些词其实是在试图表达物质系统的组成结构和运动景象中的规矩,这些不同人发明的词都是来源于对同一个规律的观察、发现、表达...

NTMiner
今天
88
0
如何将文件从一个git repo移到另一个(不是克隆),保留历史记录

我们的Git储存库是作为单个Monster SVN储存库的一部分开始的,其中每个项目都有自己的树,如下所示: project1/branches /tags /trunkproject2/branches /tags ...

技术盛宴
今天
65
0
数据结构之数组-c代码实现

在上一篇文章里讲了数组的具体内容,然后自己使用c语言对数组进行了实现。 其中定义了一个结构体,定义了长度、已使用长度和地址指针。 定义alloc函数来分配内存空间 之后便是插入元素的ins...

无心的梦呓
今天
65
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部