文档章节

Hadoop CDH5 Flume部署

China_OS
 China_OS
发布于 2014/05/29 17:34
字数 664
阅读 189
收藏 0

Hadoop有一套日志收集系统,flume,下一代的日志收集叫flume-ng,老版本的叫flume-og。这一篇就在CDH5.0上尝试flume-ng 1.4。还是基于之前升级后的CDH5集群操作。

1    安装flume

        flume-ng,主要由三组包构成:

        1    flume-ng  运行flume所需的所有部件

        2    flume-ng-agent 管理flume服务启动停止的脚本

        3    flume-ng-doc flume的文档

       在U-3/4/5上安装flume

apt-get install flume-ng
apt-get install flume-ng-agent
apt-get install flume-ng-doc
2    配置flume 

        安装完成后,flume的配置文件在/etc/flume-ng/conf目录下,官方已经提供了几个样板配置文件

cp /etc/flume-ng/conf/flume-conf.properties.template /etc/flume-ng/conf/flume.conf
cp /etc/flume-ng/conf/flume-env.sh.template /etc/flume-ng/conf/flume-env.sh
3    查看flume是否安装成功

flume-ng help
4    启动flume服务

#有两种启动方法
# 1
service flume-ng-agent <start | stop | restart>
# 2
flume-ng agent -c /etc/flume-ng/conf -f /etc/flume-ng/conf/flume.conf -n agent
        在调试的时候建议使用第二种方法


5    开始三

        1    收集的日志默认和flume的日志

                1    在U-3修改配置文件/etc/flume-ng/conf/flume.conf,内容如下

agent.sources = r1
agent.channels = c1
agent.sinks = k1
agent.sources.r1.type = avro
agent.sources.r1.bind = 0.0.0.0
agent.sources.r1.port = 5901
agent.sources.r1.channels = c1
agent.sinks.k1.type = logger
agent.sinks.k1.channel = c1
agent.channels.c1.type = memory
agent.channels.c1.capacity = 10
agent.channels.c1.transactionCapacity = 10

                2    在U-3上启动flume服务

flume-ng agent -n agent -c /etc/flume-ng/conf -f /etc/flume-ng/conf/flume.conf

                

                3    在U-4利用flume模拟数据发送端

flume-ng avro-client -H 192.168.1.30 -p 5901 -F /tmp/1
 

                4    在U-3查看收集的日志

tail -f /var/log/flume-ng/flume.log

 

        2    收集的日志存放在指定的目录

                1    在U-3修改配置文件/etc/flume-ng/conf/flume2.conf,内容如下

agent.sources = r1
agent.channels = c1
agent.sinks = k1
agent.sources.r1.type = avro
agent.sources.r1.bind = 0.0.0.0
agent.sources.r1.port = 5901
agent.sources.r1.channels = c1
agent.sinks.k1.type = file_roll
agent.sinks.k1.sink.directory = /tmp/guol
agent.sinks.k1.sink.rollInterval = 0
agent.sinks.k1.channel = c1
agent.channels.c1.type = memory
agent.channels.c1.capacity = 10
agent.channels.c1.transactionCapacity = 10

 

            2    在U-3上启动flume服务

flume-ng agent -n agent -c /etc/flume-ng/conf -f /etc/flume-ng/conf/flume2.conf
 


                3    在U-4利用flume模拟数据发送端

flume-ng avro-client -H 192.168.1.30 -p 5901 -F /tmp/1
                4     在U-3查看收集的日志 


        3    收集的日志存放在HDFS上

                1    在U-3修改配置文件/etc/flume-ng/conf/flume3.conf,内容如下

agent.sources = r1
agent.channels = c1
agent.sinks = k1
agent.sources.r1.type = avro
agent.sources.r1.bind = 0.0.0.0
agent.sources.r1.port = 5901
agent.sources.r1.channels = c1
agent.sinks.k1.type = hdfs
agent.sinks.k1.hdfs.path = hdfs://mycluster/log/flume/
agent.sinks.k1.hdfs.filePrefix = guol-
agent.sinks.k1.hdfs.fileType = DataStream
agent.sinks.k1.sink.rollInterval = 0
agent.sinks.k1.channel = c1
agent.channels.c1.type = memory
agent.channels.c1.capacity = 10
agent.channels.c1.transactionCapacity = 10
 

                2    在U-3上启动flume服务

flume-ng agent -n agent -c /etc/flume-ng/conf -f /etc/flume-ng/conf/flume3.conf

                3    在U-4利用flume模拟数据发送端

flume-ng avro-client -H 192.168.1.30 -p 5901 -F /tmp/1

                        **以上命令我连续运行了两遍,所以在收集的日志中会显示两条日志记录 

                4    在U-3查看收集的日志


© 著作权归作者所有

共有 人打赏支持
China_OS
粉丝 410
博文 447
码字总数 499779
作品 0
徐汇
技术主管
Kafka实战-Flume到Kafka

1.概述   前面给大家介绍了整个Kafka项目的开发流程,今天给大家分享Kafka如何获取数据源,即Kafka生产数据。下面是今天要分享的目录: 数据来源 Flume到Kafka 数据源加载 预览   下面开...

smartloli
2015/07/02
0
0
Flume日志收集分层架构应用实践

Flume作为一个日志收集工具,非常轻量级,基于一个个Flume Agent,能够构建一个很复杂很强大的日志收集系统,它的灵活性和优势,主要体现在如下几点: 1)模块化设计:在其Flume Agent内部可...

workming
06/29
0
0
使用Flume将日志导入OSS

前言 Apache Flume是一个高可用、高可靠的分布式日志采集、聚合与传输的系统。它基于流式的数据传输,架构简单、灵活。它简单可扩展的模型,也适合在线的数据分析。 上图是它的简单数据流模型...

冷月_wjh
08/29
0
0
02. Spark Streaming实时流处理学习——分布式日志收集框架Flume

2. 分布式日志收集框架Flume 2.1 业务现状分析 如上图,大量的系统和各种服务的日志数据持续生成。用户有了很好的商业创意想要充分利用这些系统日志信息。比如用户行为分析,轨迹跟踪等等。 ...

牦牛sheriff
09/02
0
0
Flume OG和Flume NG的区别

应用场景 Flume作为Hadoop中的日志采集工具,非常的好用,但是在安装Flume的时候,查阅很多资料,发现形形色色,有的说安装Flume很简单,有的说安装Flume很复杂,需要依赖zookeeper,所以一方...

wsc449
2017/11/23
0
0

没有更多内容

加载失败,请刷新页面

加载更多

中国发布域名系统基础软件 “红枫”

9月12日消息,域名工程中心(英文缩写 ZDNS)发布了宣称自主开发的域名系统基础软件 “红枫(Maple DNS)”。 9月12日消息,域名工程中心(英文缩写 ZDNS)发布了宣称自主开发的域名系统基础软...

问题终结者
27分钟前
1
0
Shell编程(分发系统介绍、expect远程登录、expect远程执行命令、expect传递参数)

分发系统介绍expect 分发系统expect即分发脚本,是一种脚本语言;通过他可以实现传输,输入命令(上线代码) 应用场景:业务越来越大,网站app,后端,编程语言是php,所以就需要配置lamp或者...

蛋黄_Yolks
32分钟前
1
0
Java Http请求工具类

public static String httpPost(String source, String params) {URL url = null;HttpURLConnection conn = null;OutputStream os = null;String ret = null;try {......

yuewawa
39分钟前
1
0
C++11 智能指针

C++11提供了三个智能指针,std::shared_ptr,std::unique_ptr,std::weak_ptr。最常用的是shared_ptr和unique_ptr。 (1)std::shared_ptr shared_ptr是共享指针,通过在控制块中增加引用计数...

yepanl
40分钟前
1
0
React 服务器渲染原理解析与实践

网盘下载地址 React 服务器渲染原理解析与实践 本套课程,讲解了React中SSR技术的整个搭建思路及流程,完整的从原理上讲清楚了SSR的概念,重点在于讲解编写SSR框架遇到的各种知识点,以及细节...

qq__2304636824
51分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部