文档章节

Hadoop CDH5 Flume部署

China_OS
 China_OS
发布于 2014/05/29 17:34
字数 664
阅读 236
收藏 0

Hadoop有一套日志收集系统,flume,下一代的日志收集叫flume-ng,老版本的叫flume-og。这一篇就在CDH5.0上尝试flume-ng 1.4。还是基于之前升级后的CDH5集群操作。

1    安装flume

        flume-ng,主要由三组包构成:

        1    flume-ng  运行flume所需的所有部件

        2    flume-ng-agent 管理flume服务启动停止的脚本

        3    flume-ng-doc flume的文档

       在U-3/4/5上安装flume

apt-get install flume-ng
apt-get install flume-ng-agent
apt-get install flume-ng-doc
2    配置flume 

        安装完成后,flume的配置文件在/etc/flume-ng/conf目录下,官方已经提供了几个样板配置文件

cp /etc/flume-ng/conf/flume-conf.properties.template /etc/flume-ng/conf/flume.conf
cp /etc/flume-ng/conf/flume-env.sh.template /etc/flume-ng/conf/flume-env.sh
3    查看flume是否安装成功

flume-ng help
4    启动flume服务

#有两种启动方法
# 1
service flume-ng-agent <start | stop | restart>
# 2
flume-ng agent -c /etc/flume-ng/conf -f /etc/flume-ng/conf/flume.conf -n agent
        在调试的时候建议使用第二种方法


5    开始三

        1    收集的日志默认和flume的日志

                1    在U-3修改配置文件/etc/flume-ng/conf/flume.conf,内容如下

agent.sources = r1
agent.channels = c1
agent.sinks = k1
agent.sources.r1.type = avro
agent.sources.r1.bind = 0.0.0.0
agent.sources.r1.port = 5901
agent.sources.r1.channels = c1
agent.sinks.k1.type = logger
agent.sinks.k1.channel = c1
agent.channels.c1.type = memory
agent.channels.c1.capacity = 10
agent.channels.c1.transactionCapacity = 10

                2    在U-3上启动flume服务

flume-ng agent -n agent -c /etc/flume-ng/conf -f /etc/flume-ng/conf/flume.conf

                

                3    在U-4利用flume模拟数据发送端

flume-ng avro-client -H 192.168.1.30 -p 5901 -F /tmp/1
 

                4    在U-3查看收集的日志

tail -f /var/log/flume-ng/flume.log

 

        2    收集的日志存放在指定的目录

                1    在U-3修改配置文件/etc/flume-ng/conf/flume2.conf,内容如下

agent.sources = r1
agent.channels = c1
agent.sinks = k1
agent.sources.r1.type = avro
agent.sources.r1.bind = 0.0.0.0
agent.sources.r1.port = 5901
agent.sources.r1.channels = c1
agent.sinks.k1.type = file_roll
agent.sinks.k1.sink.directory = /tmp/guol
agent.sinks.k1.sink.rollInterval = 0
agent.sinks.k1.channel = c1
agent.channels.c1.type = memory
agent.channels.c1.capacity = 10
agent.channels.c1.transactionCapacity = 10

 

            2    在U-3上启动flume服务

flume-ng agent -n agent -c /etc/flume-ng/conf -f /etc/flume-ng/conf/flume2.conf
 


                3    在U-4利用flume模拟数据发送端

flume-ng avro-client -H 192.168.1.30 -p 5901 -F /tmp/1
                4     在U-3查看收集的日志 


        3    收集的日志存放在HDFS上

                1    在U-3修改配置文件/etc/flume-ng/conf/flume3.conf,内容如下

agent.sources = r1
agent.channels = c1
agent.sinks = k1
agent.sources.r1.type = avro
agent.sources.r1.bind = 0.0.0.0
agent.sources.r1.port = 5901
agent.sources.r1.channels = c1
agent.sinks.k1.type = hdfs
agent.sinks.k1.hdfs.path = hdfs://mycluster/log/flume/
agent.sinks.k1.hdfs.filePrefix = guol-
agent.sinks.k1.hdfs.fileType = DataStream
agent.sinks.k1.sink.rollInterval = 0
agent.sinks.k1.channel = c1
agent.channels.c1.type = memory
agent.channels.c1.capacity = 10
agent.channels.c1.transactionCapacity = 10
 

                2    在U-3上启动flume服务

flume-ng agent -n agent -c /etc/flume-ng/conf -f /etc/flume-ng/conf/flume3.conf

                3    在U-4利用flume模拟数据发送端

flume-ng avro-client -H 192.168.1.30 -p 5901 -F /tmp/1

                        **以上命令我连续运行了两遍,所以在收集的日志中会显示两条日志记录 

                4    在U-3查看收集的日志


© 著作权归作者所有

共有 人打赏支持
上一篇: Docker常用命令
China_OS
粉丝 413
博文 455
码字总数 512400
作品 0
静安
技术主管
私信 提问
Apache Flume 1.6.0 发布,日志服务器

Apache Flume 1.6.0 发布,此版本现已提供下载: http://flume.apache.org/download.html 更新内容: ** Bug 修复 [FLUME-1793] - Unit test TestElasticSearchLogStashEventSerializer fail......

oschina
2015/06/03
3.1K
2
Apache Flume 1.5.0 发布,日志服务器

Apache Flume 1.5.0 发布,Flume 是一个分布式、可靠和高可用的服务,用于收集、聚合以及移动大量日志数据,使用一个简单灵活的架构,就流数据模型。这是一个可靠、容错的服务。 改进内容包括...

oschina
2014/05/22
2.8K
4
Cloudera Developer之Spark 及 Hadoop 开发员培训(CCA-175)

学习如何将数据导入到 Apache Hadoop 机群并使用 Spark、Hive、Flume、Sqoop、Impala 及其他 Hadoop 生态系统工具对数据进行各种操作和处理分析。 培训详情地址:https://www.huodongjia.co...

活动家
2017/07/28
31
0
Kafka实战-Flume到Kafka

1.概述   前面给大家介绍了整个Kafka项目的开发流程,今天给大家分享Kafka如何获取数据源,即Kafka生产数据。下面是今天要分享的目录: 数据来源 Flume到Kafka 数据源加载 预览   下面开...

smartloli
2015/07/02
0
0
Flume日志收集分层架构应用实践

Flume作为一个日志收集工具,非常轻量级,基于一个个Flume Agent,能够构建一个很复杂很强大的日志收集系统,它的灵活性和优势,主要体现在如下几点: 1)模块化设计:在其Flume Agent内部可...

workming
06/29
0
0

没有更多内容

加载失败,请刷新页面

加载更多

telegram_bot

new group -> 选择人 -> 填写群名 搜索BotFather -> start =========================== ou can control me by sending these commands: /newbot - create a new bot /mybots - edit your bo......

八戒八戒八戒
14分钟前
1
0
Spring boot中使用Jackson ObjectMapper注入

问题 本身spring boot已经集成了Jackson的库,我想自己在Controller中直接使用Spring默认的ObjectMapper,应该怎么做? RestController.java public class RestController { private fi...

亚林瓜子
19分钟前
3
0
老男孩 - python函数编程day2

mark

以谁为师
34分钟前
1
0
【58沈剑 架构师之路】缓存,究竟是淘汰,还是修改?

允许cache miss的场景,不管是memcache还是redis,当被缓存的内容变化时,是修改缓存,还是淘汰缓存?这是今天将要讨论的话题。 问:KV缓存都缓存了一些什么数据? 答: (1)朴素类型的数据...

张锦飞
35分钟前
1
0
Spring异常之Druid – unregister mbean error set JAVA_OPTS="-Ddruid.registerToSysProperty=true"

Spring异常之Druid – unregister mbean error 2017年04月19日 12:13:42 Dr.Zhu 阅读数:6688 版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/zt_fucker/arti...

linjin200
37分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部