文档章节

flume复习(一)

o
 osc_1ee7cxmx
发布于 2018/08/06 18:53
字数 1588
阅读 0
收藏 0

精选30+云产品,助力企业轻松上云!>>>

 关于flume官方文档介绍可以去:http://flume.apache.org/看看。接下来就介绍一下关于我个人对flume的理解


 

  一、flume介绍:

  1.flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统并且可以进行在线分析。

  2.支持在日志系统中定制各类数据发送方,用于收集数据,同时,Flume提供对数据进行简单处理,并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。

  3.flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位,它携带日志数据(字节数组形式)并且携带有头信息,这些Event由Agent外部的Source生成,当Source捕获事件后会进行特定的格式化,然后Source会把事件推入(单个或多个)Channel中。可以把Channel看作是一个缓冲区,它将保存事件直到Sink处理完该事件。Sink负责持久化日志或者把事件推向另一个Source。

  4.flume名词解释。

  Client:Client生产数据,运行在一个独立的线程。

   Event: 一个数据单元,消息头和消息体组成。(Events可以是日志记录、 avro 对象等。)

  Flow: Event从源点到达目的点的迁移的抽象。

  Agent: 一个独立的Flume进程,包含组件Source、 Channel、 Sink。(Agent使用JVM 运行Flume。每台机器运行一个agent,但是可以在一个agent中包含多个sources和sinks。)

  Source: 数据收集组件。(source从Client收集数据,传递给Channel)

  Channel: 中转Event的一个临时存储,保存由Source组件传递过来的Event。(Channel连接 sources 和 sinks ,这个有点像一个队列。)

  Sink: 从Channel中读取并移除Event, 将Event传递到FlowPipeline中的下一个Agent(如果有的话)(Sink从Channel收集数据,运行在一个独立线程。)


 

二、flume核心结构

  1.Agent:flume运行的核心是agent,运行的最小单位也是agent,一个flume就是一个JVM,他是一个完整的数据收集工具,包含有3个核心组件,source,channel和sink。一个时间Event可以从一个方向流向另一个方向。如下图所示:

2.source:数据的收集端。负责将数据捕获后进行特殊的格式化。source将数据封装到事件(Event)里,然后推入到Channel中,Flume提供了很多内置的Source, 支持 Avro, log4j, syslog 和 http post(body为json格式)。可以让应用程序同已有的Source直接打交道,如AvroSource,SyslogTcpSource。 如果内置的Source无法满足需要, Flume还支持自定义Source。

    

3.channel:接Source和Sink的组件。数据流的临时存放地,对source中的数据进行缓冲,直到sink将其消费掉。

4.sink:从channel提取数据存放到中央化存储(hadoop/hbase)


 

三、flume命令和配置

1.flume安装

  1.下载
  2.tar
  3.环境变量
  4.验证flume是否成功
    $>flume-ng version //next generation.下一代.

2.配置flume   []

  命名agent上的组件

  a1.sources=r1;  //所有的源

  a1.sinks=k1;   //所有的sink

  a1.channels=c1; //所有的channel

  描述源的配置

  a1.sources.r1.type=netcat;  //源的类型是瑞士军刀

  a1.sources.r1.bind=localhost;  //绑定本机

  a1.sources.r1.port=44444;  //绑定44444端口

  描述sink

  a1.sinks.k1.type=loggger;  //将通道中提取的数据存储到日志中去

  使用在内存中进行缓冲的通道

   a1.channels.c1.type=memory;  //

  a1.channels.c1.capacity=1000;  //内存中可以存储1000个事件  

  a1.channels.c1.transactionCapacity = 100;  //

   把源和通道以及sink和通道进行绑定

  a1.sources.r1.channels=c1;  //一个源可以有多个通道

  a1.sinks.k1.channel=c1;    //一个sink只能有一个通道

3.运行flume

  1)启动flume agent

    $> bin/flume-ng agent -f /soft/flume/conf/hello.conf  -n a1 -Dflume.root.logger=INFO,console

    开启这个端口来接收来自8888端口的数据

  2)打开netcat,nc localhost 8888


 

四、测试source

 1.配置seq压力源(源测试)

  a1.sources = r1
  a1.channels = c1
  a1.sinks = k1

  a1.sources.r1.type=seq
  a1.sources.r1.totalEvents=1000

  a1.sinks.k1.type=logger

  a1.channels.c1.type=memory

  a1.sources.r1.channels=c1

2.批量收集文件

  监控一个文件夹,静态文件。在收集完成之后会重命名为一个新的文件.compeleted

  1.配置文件[spool-r.conf] 

  a1.sources=r1
  a1.channels=c1;
  a1.sinks=k1

  a1.sources.r1.type=spooldir
  a1.sources.r1.spoolDir=/home/centos/spool
  a1.sources.r1.fileHeader=true

  a1.sinks.k1.type=loger
  a1.channels.c1.type=memory

  a1.sources.c1.channels=c1;
  a1.sinks.c1.channel=c1;

  2.创建目录

  $>mkdir ~/spool

  3.启动flume

  $>bin/flume-ng agent -f /soft/flume/conf/spooldir-r.conf  -n a1 -Dflume.root.logger=INFO,console

3.实时日志收集exec(对文件进行实时监控)  

  1.配置文件[exec-r.conf] 

  a1.sources=r1
  a1.sinks=k1
  a1.channels=c1

  a1.sources.r1.type=exec
  a1.sources.r1.command=tail -F /home/centos/test.txt

  a1.sinks.k1.type=logger
  a1.channels.c1.type=memory

  a1.sources.r1.channels=c1
  a1.sinks.k1.channel=c1

 

  2.启动flume

  $>flume-ng agent -f /soft/flume/conf/exec-r.conf -n a1 -Dflume.root.logger=INFO,console

  3.在/home/centos下写文件

    $>touch test.txt 

    $>echo hello world >> test.txt


 

 五、.测试sink

   1.hdfs

a1.sources = r1
a1.channels = c1
a1.sinks = k1

a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 8888

a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = /user/centos/flume/%y-%m-%d/%H/%M/%S
a1.sinks.k1.hdfs.filePrefix = events-

#是否舍弃,每十分钟会产生一个新的目录
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 1
a1.sinks.k1.hdfs.roundUnit = day
a1.sinks.k1.hdfs.useLocalTimeStamp = true
a1.sinks.k1.hdfs.rollInterval=10
a1.sinks.k1.hdfs.rollSize=30
a1.sinks.k1.hdfs.rollCount=3

a1.channels.c1.type = memory

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1 

  2.hbase

a1.sources=r1

a1.channels=c1

a1.sinks=k1

a1.sources.r1.type=netcat

a1.sources.r1.bind=localhost

a1.sources.r1.port=8888

a1.sinks.k1.type=hbase

a1.sinks.k1.table=ns1:t2

a1.sinks.k1.columnFamily=f1

a1.sinks.k1.serializer = org.apache.flume.sink.hbase.RegexHbaseEventSerializer

a1.channels.c1.types=memory

a1.sources.r1.channels=c1

a1.sinks.k1.channel=c1

  3.从source到channels的过程

  

 

 数据从外部进入到源source中来,

  4.使用avroSource和avroSink实现越点(agent)代理

--------------------------------------------

  1.创建配置文件   

#a1
a1.sources=r1
a1.sinks=k1
a1.channels=c1

a1.sources.r1.type=netcat
a1.sources.r1.bind=localhost
a1.sources.r1.port=8888

a1.sinks.k1.type=avro
a1.sinks.k1.hostname=localhost
a1.sinks.k1.port=9999

a1.channels.c1.type=memory

a1.sources.r1.channels=c1
a1.sinks.k1.channel=c1

#a2
a1.sources=r2
a1.sinks=k2
a1.channels=c2

a1.sources.r2.type=avro
a1.sources.r2.bind=localhost
a1.sources.r2.port=9999

a2.sinks.k2.type=logger

a2.channels.c2.type=memory

a2.sources.r2.channels=c2
a2.sinks.k2.channel=c2

  2.启动a2:flume-ng agent -f /soft/flume/conf/avro_hop.conf -n a2 -Dflume.root.logger=INFO,console

  3.验证a2是否开启

    $>netstat -anop | grep 9999

  4.开启a1.flume-ng agent -f /soft/flume/conf/avro_hop.conf -n a1

    验证是否开启:$>netstat -anop | grep 8888

 5.channels

--------------------------------------------------------

  1.memory

    

  2.FileChannel

    a1.sources=r1
    a1.sinks=k1
    a1.channels=c1

    a1.channels=c1

    a1.channels.c1.type=file

    a1.channels.c1.checkpointDir=/home/centos/flume/fc_check

    a1.channels.c1.dataDirs=/home/centos/flume/fc_data

 

 

 

下一篇: vue +oss的上传
o
粉丝 0
博文 500
码字总数 0
作品 0
私信 提问
加载中
请先登录后再评论。

暂无文章

Linux系统检查用户账户到期时间

如果你在 Linux 上启用了密码策略。密码必须在到期前进行更改,并且登录到系统时会收到通知。如果你很少使用自己的帐户,那么可能由于密码过期而被锁定。在许多情况下,这可能会在无需密码登...

老孟的Linux私房菜
56分钟前
17
0
关于南京哪里有开餐饮费发票?

关于南京哪里有开餐饮费发票?聚焦餐饮行业,谈话〖18 7一電一7 5 3 8一徴一3331〗研究院昨发布数据显示,今年上半年,全国餐饮行业招聘需求增长46.18%,平均月薪6387元.随着餐饮行业的快速...

点击fojewio
今天
7
0
android studio 4.0 打开DDMS

1、先找到AndroidStudio配置的SDK路径; 2、在SDK的/tools/路径下有个monitor.bat 的批处理文件; 3、鼠标连续点击两下monitor.bat这个批处理文件,在屏幕上会打开一个类似CMD的命令行中输入...

chenhongjiang
今天
10
0
如何在Android中使用SharedPreferences来存储,获取和编辑值

问题: Closed . 已关闭 。 This question needs to be more focused. 这个问题需要更加集中。 It is not currently accepting answers. 它当前不接受答案。 Learn more . 了解更多 。 Want...

fyin1314
今天
6
0
【JDK1.8】LinkedList源码分析

LinkedList的特性 LinkedList内部使用双向链表作为存储结构,LinkedList可以理解为链表的扩展对象,封装了常用的和非常用的操作链表的方法。以及在通过索引获取元素时的简单优化,通常Linke...

XuePeng77
今天
40
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部