文档章节

Hadoop CDH5 Flume部署

China_OS
 China_OS
发布于 2014/05/29 17:34
字数 664
阅读 162
收藏 0
点赞 0
评论 0

Hadoop有一套日志收集系统,flume,下一代的日志收集叫flume-ng,老版本的叫flume-og。这一篇就在CDH5.0上尝试flume-ng 1.4。还是基于之前升级后的CDH5集群操作。

1    安装flume

        flume-ng,主要由三组包构成:

        1    flume-ng  运行flume所需的所有部件

        2    flume-ng-agent 管理flume服务启动停止的脚本

        3    flume-ng-doc flume的文档

       在U-3/4/5上安装flume

apt-get install flume-ng
apt-get install flume-ng-agent
apt-get install flume-ng-doc
2    配置flume 

        安装完成后,flume的配置文件在/etc/flume-ng/conf目录下,官方已经提供了几个样板配置文件

cp /etc/flume-ng/conf/flume-conf.properties.template /etc/flume-ng/conf/flume.conf
cp /etc/flume-ng/conf/flume-env.sh.template /etc/flume-ng/conf/flume-env.sh
3    查看flume是否安装成功

flume-ng help
4    启动flume服务

#有两种启动方法
# 1
service flume-ng-agent <start | stop | restart>
# 2
flume-ng agent -c /etc/flume-ng/conf -f /etc/flume-ng/conf/flume.conf -n agent
        在调试的时候建议使用第二种方法


5    开始三

        1    收集的日志默认和flume的日志

                1    在U-3修改配置文件/etc/flume-ng/conf/flume.conf,内容如下

agent.sources = r1
agent.channels = c1
agent.sinks = k1
agent.sources.r1.type = avro
agent.sources.r1.bind = 0.0.0.0
agent.sources.r1.port = 5901
agent.sources.r1.channels = c1
agent.sinks.k1.type = logger
agent.sinks.k1.channel = c1
agent.channels.c1.type = memory
agent.channels.c1.capacity = 10
agent.channels.c1.transactionCapacity = 10

                2    在U-3上启动flume服务

flume-ng agent -n agent -c /etc/flume-ng/conf -f /etc/flume-ng/conf/flume.conf

                

                3    在U-4利用flume模拟数据发送端

flume-ng avro-client -H 192.168.1.30 -p 5901 -F /tmp/1
 

                4    在U-3查看收集的日志

tail -f /var/log/flume-ng/flume.log

 

        2    收集的日志存放在指定的目录

                1    在U-3修改配置文件/etc/flume-ng/conf/flume2.conf,内容如下

agent.sources = r1
agent.channels = c1
agent.sinks = k1
agent.sources.r1.type = avro
agent.sources.r1.bind = 0.0.0.0
agent.sources.r1.port = 5901
agent.sources.r1.channels = c1
agent.sinks.k1.type = file_roll
agent.sinks.k1.sink.directory = /tmp/guol
agent.sinks.k1.sink.rollInterval = 0
agent.sinks.k1.channel = c1
agent.channels.c1.type = memory
agent.channels.c1.capacity = 10
agent.channels.c1.transactionCapacity = 10

 

            2    在U-3上启动flume服务

flume-ng agent -n agent -c /etc/flume-ng/conf -f /etc/flume-ng/conf/flume2.conf
 


                3    在U-4利用flume模拟数据发送端

flume-ng avro-client -H 192.168.1.30 -p 5901 -F /tmp/1
                4     在U-3查看收集的日志 


        3    收集的日志存放在HDFS上

                1    在U-3修改配置文件/etc/flume-ng/conf/flume3.conf,内容如下

agent.sources = r1
agent.channels = c1
agent.sinks = k1
agent.sources.r1.type = avro
agent.sources.r1.bind = 0.0.0.0
agent.sources.r1.port = 5901
agent.sources.r1.channels = c1
agent.sinks.k1.type = hdfs
agent.sinks.k1.hdfs.path = hdfs://mycluster/log/flume/
agent.sinks.k1.hdfs.filePrefix = guol-
agent.sinks.k1.hdfs.fileType = DataStream
agent.sinks.k1.sink.rollInterval = 0
agent.sinks.k1.channel = c1
agent.channels.c1.type = memory
agent.channels.c1.capacity = 10
agent.channels.c1.transactionCapacity = 10
 

                2    在U-3上启动flume服务

flume-ng agent -n agent -c /etc/flume-ng/conf -f /etc/flume-ng/conf/flume3.conf

                3    在U-4利用flume模拟数据发送端

flume-ng avro-client -H 192.168.1.30 -p 5901 -F /tmp/1

                        **以上命令我连续运行了两遍,所以在收集的日志中会显示两条日志记录 

                4    在U-3查看收集的日志


© 著作权归作者所有

共有 人打赏支持
China_OS
粉丝 403
博文 438
码字总数 487778
作品 0
徐汇
技术主管
Kafka实战-Flume到Kafka

1.概述   前面给大家介绍了整个Kafka项目的开发流程,今天给大家分享Kafka如何获取数据源,即Kafka生产数据。下面是今天要分享的目录: 数据来源 Flume到Kafka 数据源加载 预览   下面开...

smartloli
2015/07/02
0
0
Flume日志收集分层架构应用实践

Flume作为一个日志收集工具,非常轻量级,基于一个个Flume Agent,能够构建一个很复杂很强大的日志收集系统,它的灵活性和优势,主要体现在如下几点: 1)模块化设计:在其Flume Agent内部可...

workming
06/29
0
0
Flume NG 简介及配置实战

Flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera。但随着 FLume 功能的扩展,...

大数据之路
2014/07/08
0
9
阿里大数据工程师教你怎样理解Flume

lume是干什么的? 收集日志的 flume如何搜集日志? 我们把flume比作情报人员 (1)搜集信息 (2)获取记忆信息 (3)传递报告间谍信息 flume是怎么完成上面三件事情的,三个组件: source: ...

JAVA丶学习
04/14
0
0
flume对nginx群集日志收集方案

Flume是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 fl...

weijixian1015
06/26
0
0
大数据系统数据采集产品的架构分析

任何完整的大数据平台,一般包括以下的几个过程: 数据采集 数据存储 数据处理 数据展现(可视化,报表和监控) 其中,数据采集是所有数据系统必不可少的,随着大数据越来越被重视,数据采集...

naughty
2015/10/31
0
1
Flume框架简单介绍(34)

Flume是一个分布式的海量数据收集框架. Flume框架流程图 Channel是缓存的数据,如果Sink传送给了HDFS,Channel中缓存的数据就会删除,如果没有传送成功,Channel相当于做了备份,Sink重复从C...

肖鋭
2014/04/06
0
0
flume之sink与channel(4)

Hdfs sink(也是最重要的一个) #sink test.sinks.si1.type=logger logger的意思就是把我们收集到的日志打印到我们的屏幕上。是提供我们测试用的 hadoop fs -mkdir /flume/log hadoop dfsadmi...

lixiyuan
2014/04/03
0
0
flume-ng 1.5.0安装部署

1.安装环境:jdk1.7 ,flume-ng-1.5.0.tar.gz 2.解压flume-ng-1.5.0.tar.gz tar zxf flume-ng-1.5.0.tar.gz 3. 修改flume配置,指定JAVAHOME,FLUMEHOME vi flume-env.sh JAVAHOME=/usr/java/j......

super_yu
2015/10/26
0
0
Flume 1.2.0 用户向导

概览 Apache的Flume是一个分布式的,质量可靠,可有效地收集,汇总和来自许多不同来源的大量日志数据到集中的数据存储系统。 Apache的Flume是在Apache软件基金会的顶级项目。目前有两个版本的...

kiwisoft
2012/08/07
0
1

没有更多内容

加载失败,请刷新页面

加载更多

下一页

07、Vue.js---Vue对象的实例方法和属性

Vue对象的实例属性和方法分为全局和局部实例属性和方法。全局和局部的区别在于调用者不同。 · 局部实例属性和方法: vm | this .$方法名或属性; · 全局实例熟悉和方法: Vue .方法名或属性...

秋季长青
9分钟前
0
0
乐观锁

最近公司一个项目中会遇到一个用户记录被多次插入的情况。其实在保存之前先判断有没有的。 觉得可以采用乐观锁机制来解决问题。 JPA之@Version进行乐观锁并发更新 使用JPA实现乐观锁 spring...

miaojiangmin
13分钟前
1
0
并发插入引发的死锁问题排查

一.业务背景 我们现在的业务是一款数据产品,有不少实时计算和爬取来的数据都汇总到大数据仓库、数据挖掘平台ODPS上。然后应用在读取这些数据时,这些数据会先导入到并发读能力更强,适合结构...

tantexian
23分钟前
0
0
docker 搭建nginx+php5.6+mysql

因为要重新做服务器系统,正好把公司官网,放到容器中,生成个镜像,以后就不用管它了。我看看公司官网使用php写的,并且使用thinkPHP3.1的框架,看到这里崩溃了。没办法,服务器得做系统,硬...

始终初心
25分钟前
0
0
应用实战:从Redis到Aerospike,我们踩了这些坑

个推专注为开发者们提供消息推送服务多年。通过个推SDK,手机终端与服务器建立长连接,维持在线状态。然而在网络异常等情况下,消息无法实时送达到终端用户,因而推送服务器建立了一份离线消...

个推
29分钟前
0
0
0718日志

c端线上地址 http://x.diandanme.com/fe/?d=183#/ 什么时候来需求,我做好准备了吗? router取值问题 --host 192.168.33.121 git下拉覆盖本地文件 $ git fetch --all $ git reset origin/mas...

大美琴
29分钟前
0
0
Swift 学习网址推荐

1."航哥" http://www.hangge.com/blog/cache/category_72_1.html 2.https://nintendoboy.gitbooks.io/swift-study-note-v2/content/swift.html...

west_zll
30分钟前
1
0
istio 0.8 服务限流配置

此任务说明如何使用Istio动态限制服务的流量。 在你开始之前 按照安装指南中的快速入门说明在Kubernetes群集中设置Istio 。 部署Bookinfo示例应用程序。 初始化应用程序版本路由以将reviews...

xiaomin0322
31分钟前
0
0
SpringCloud架构设计

最近一直在针对SpringCloud框架做项目,从中踩了不少的坑,也渐渐梳理出了一些内容,由于SpringCloud作为一个全家桶,其中东西太多,所以这时候就要有所取舍,这里就想把自己比较常用组件及架...

xiaoxin
31分钟前
2
0
XamarinSQLite教程创建数据库

XamarinSQLite教程创建数据库 安装SQLite/SQL Server Compact Toolbox后,就可以使用该插件创建数据库了。操作步骤如下: (1)在Visual Studio中,单击“工具”|SQLite/SQL Server Compact ...

大学霸
34分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部