文档章节

大数据教程(13.2)Flume多个agent连接

em_aaron
 em_aaron
发布于 2019/02/26 00:35
字数 731
阅读 92
收藏 2

   上一节介绍了Flume如何将数据收集到hdfs文件系统上。本节将分享多个agent连接配合使用。

   原理图:

    操作步骤:

1、将centos-aaron-h1的flume复制一份到centos-aaron-h2
sudo scp  -r /home/hadoop/apps/apache-flume-1.6.0-bin hadoop@192.168.29.145:/home/hadoop/apps/


2、进入centos-aaron-h1的Flume配置目录
cd ~/apps/apache-flume-1.6.0-bin/conf

3、新建配置文件
vi tail-avro-avro-logger.conf

4、在上面的配置文件中添加一下内容

#从tail命令获取数据发送到avro端口
#另一个节点可配置一个avro源来中继数据,发送外部存储
##################
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /home/hadoop/log/test.log
a1.sources.r1.channels = c1

# Describe the sink
#绑定的不是本机, 是另外一台机器的服务地址, sink端的avro是一个发送端, avro的客户端, 往hadoop01这个机器上发
a1.sinks = k1
a1.sinks.k1.type = avro
a1.sinks.k1.channel = c1
a1.sinks.k1.hostname = master
a1.sinks.k1.port = 4141
a1.sinks.k1.batch-size = 2



# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

5、保存上面配置
shift+Z+Z

6、创建Flume监听的文件所在的文件夹
mkdir /home/hadoop/log

7、创Flume监听的文件,并写循环写入数据
while true
do
echo 111111 >> /home/hadoop/log/test.log
sleep 0.5
done

8、新打开个ssh客户端执行下列命令查看日志文件变化【使用大写的-F是追踪文件名进行输出,而小写-f是inode进行追踪】
tail -F test.log


9、进入centos-aaron-h2的Flume配置目录
cd ~/apps/apache-flume-1.6.0-bin/conf

10、新建配置文件
vi avro-hdfs.conf

11、在上面的配置文件中添加一下内容

#从avro端口接收数据,下沉到logger
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
#source中的avro组件是接收者服务, 绑定本机
a1.sources.r1.type = avro
a1.sources.r1.channels = c1
a1.sources.r1.bind = 0.0.0.0
a1.sources.r1.port = 4141

# Describe the sink
a1.sinks.k1.type = logger

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

12、在centos-aaron-h2启动flume avro服务
bin/flume-ng agent -c conf -f conf/avro-hdfs.conf -n a1 -Dflume.root.logger=INFO,console

13.在centos-aaron-h1启动flume avro客户端
bin/flume-ng agent -c conf -f conf/tail-avro-avro-logger.conf -n a1

 效果图:

  注意点: Flume如果失败了,必须要重启agent进程,它会自动记录上次采集的位置,继续采集。大家可以通过写一个监听脚本来实现重启。最后大家可以参考下《基于Flume的美团日志收集系统》。

© 著作权归作者所有

em_aaron

em_aaron

粉丝 95
博文 137
码字总数 225934
作品 3
黄浦
高级程序员
私信 提问
加载中

评论(0)

Flume学习之路 (一)Flume的基础介绍

目录 一、背景 二、Flume的简介 三、Flume NG的介绍 四、Flume的部署类型 五、Flume的安装 正文 回到顶部 一、背景 Hadoop业务的整体开发流程:   从Hadoop的业务开发流程图中可以看出,在...

Tim&Blog
01/22
0
0
大数据教程(12.5)日志采集框架Flume

前面的章节介绍了hive的知识,本节博主将分享日志采集框架Flume的相关知识。在一个完整的大数据处理系统中,除了hdfs+mapreduce+hive组成分析系统的核心之外,还需要数据采集、结果数据导出、...

em_aaron
2019/02/12
138
0
Flume+Kafka双剑合璧玩转大数据平台日志采集

概述 大数据平台每天会产生大量的日志,处理这些日志需要特定的日志系统。 一般而言,这些系统需要具有以下特征: 构建应用系统和分析系统的桥梁,并将它们之间的关联解耦; 支持近实时的在线...

java菜分享
2018/12/11
77
0
分布式进阶(二十一)Flume的基础介绍

一、背景 Hadoop业务的整体开发流程:   从Hadoop的业务开发流程图中可以看出,在大数据的业务处理过程中,对于数据的采集是十分重要的一步,也是不可避免的一步. 许多公司的平台每天会产生...

No Silver Bullet
2019/12/24
0
0
flume 总结--flume入门介绍

flume介绍 flume被设计为一个灵活的分布式系统,可以很容易的扩展,而且是高度可定制化的,一个配置正确的Flume Agent和由互相连接的Agent创建的Agent管道,保证不会丢失数据,提供持久的cha...

u013362353
2018/05/28
0
0

没有更多内容

加载失败,请刷新页面

加载更多

结束数据库会话期间(踢出用户)

--可以使用这堆,查询出正在使用的会话期间,然后结束某个会话idUSE mastergoSELECT * from sysprocesses where dbid in (select dbid from sysdatabases where name='hbposv10_branch......

ethanleellj
11分钟前
14
0
TMS320C28x系列TMS320F2837x开发板的蜂鸣器、直流电机和步进电机接口

处理器 TI TMS320F2837x单/双核具有200MHz的高速处理能力,双核拥有多达12路的PWM输出。以下分别是TMS320F2837x单/双核CPU资源框图: 蜂鸣器 本开发板搭载有无源蜂鸣器,可以发出不同频率的声...

Tronlong创龙
11分钟前
16
0
Python3 撸代码窍门,怎样用 Map, Filter, Reduce 代替 For 循环.

感谢作者分享-http://bjbsair.com/2020-04-07/tech-info/30736.html 你是否有过这样的经历,你查看自己写的代码并看到满眼的 for 循环?你发现你必须斜着你的眼睛,并将脑袋前倾到你的显示器...

曹长卿
12分钟前
17
0
vscode插件

1、vetur 强大的vue开发插件 等待更新!!!!

米依若兮
12分钟前
15
0
服务器批量管理软件排名 批量管理vps

远程桌面是微软公司为了便于网络管理员管理维护服务器推出的一项服务。从windows 2000 server版本开始引入,网络管理员时候远程桌面连接器连接到网络任意一台开启了远程桌面控制功能的计算机...

09网络2
14分钟前
22
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部