文档章节

flume-ng 多节点集群示例

不是柯西
 不是柯西
发布于 2014/02/28 16:12
字数 498
阅读 7288
收藏 5

假设:现有两台机子,命名为:agent,collect。agent IP地址为:192.168.150.137,collect为192.168.150.135

要求:实现agent到collect的连接,并能向collect发送日志。

步骤:

  1. 两台电脑上分别装上 jdk,flume-ng(不是flume-og),配置好profile。具体参见百度。

  2. agent的处理  

      (1)找到flume-ng安装目录下的conf文件夹,新建test.conf

      

    #name the  components on this agent

    a1.sources  = r1

    a1.sinks =  k1

    a1.channels  = c1

   #  Describe/configure the source

    a1.sources.r1.type  = netcat //这里的数据源设置成netcat,后面将通过telnet传送信息

    a1.sources.r1.bind  = 0.0.0.0 //建议  

    a1.sources.r1.port  = 44444

    # Describe  the sink

    a1.sinks.k1.type  =avro

    a1.sinks.k1.hostname=192.168.150.135  //collect 的IP地址,注意

    a1.sinks.k1.port=60000 //这里的接口要与collect source的接口一致。

 # Use a  channel which buffers events in memory

    a1.channels.c1.type  = memory

    a1.channels.c1.capacity  = 1000

    a1.channels.c1.transactionCapacity  = 100

# Bind the  source and sink to the channel

    a1.sources.r1.channels  = c1

    a1.sinks.k1.channel  = c1

设置好后,暂时不要开启agent。

3.下面设置collect,同agent,新建test.conf 文件

# Name the  components on this agent

a1.sources  = r1

a1.sinks =  k1

a1.channels  = c1

#  Describe/configure the source

a1.sources.r1.type  = avro

a1.sources.r1.bind  = 192.168.150.135 //绑定本机的IP的地址

a1.sources.r1.port  =60000 //接口要与agent sink的port一致

# Describe  the sink

a1.sinks.k1.type  = logger

# Use a  channel which buffers events in memory

a1.channels.c1.type  = memory

a1.channels.c1.capacity  = 1000

a1.channels.c1.transactionCapacity  = 100

# Bind the  source and sink to the channel

a1.sources.r1.channels  = c1

a1.sinks.k1.channel  = c1


4.设置好之后保存退出,输入命令:(当前目录为$FLUME_HOME/conf)

flume-ng agent -n a1 -c conf -f test.conf,若没有问题在agent机上输入命令:

flume-ng  agent -c conf -f test.conf -n a1 -Dflume.root.logger=INFO,console

collect机上会出现:

则表示没有问题。

进入下一步

5.在agent另开一个 terminal,输入 telnet 127.0.0.1 44444 后(需要安装,yum install telnet)

 Trying 127.0.0.1...

Connected to 127.0.0.1.

Escape character is '^]'.

然后就可以输入如:ss,enter后到collect机上查看



刚学Linux 和flume没几天,有不足还请指教,多多交流,充分发挥开源中国的作用。

© 著作权归作者所有

不是柯西
粉丝 3
博文 10
码字总数 2110
作品 0
合肥
程序员
私信 提问
Flume OG和Flume NG的区别

应用场景 Flume作为Hadoop中的日志采集工具,非常的好用,但是在安装Flume的时候,查阅很多资料,发现形形色色,有的说安装Flume很简单,有的说安装Flume很复杂,需要依赖zookeeper,所以一方...

wsc449
2017/11/23
0
0
Flume NG 简介及配置实战

Flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera。但随着 FLume 功能的扩展,...

大数据之路
2014/07/08
56K
9
Kafka实战-Flume到Kafka

1.概述   前面给大家介绍了整个Kafka项目的开发流程,今天给大家分享Kafka如何获取数据源,即Kafka生产数据。下面是今天要分享的目录: 数据来源 Flume到Kafka 数据源加载 预览   下面开...

smartloli
2015/07/02
0
0
Flume日志收集分层架构应用实践

Flume作为一个日志收集工具,非常轻量级,基于一个个Flume Agent,能够构建一个很复杂很强大的日志收集系统,它的灵活性和优势,主要体现在如下几点: 1)模块化设计:在其Flume Agent内部可...

workming
2018/06/29
0
0
log4j直接输出日志到flume

log4j直接输出日志到flume 此jar是由Cloudera的CDH发行版提供的一个工具类,通过配置,可以将log4j的日志直接输出到flume,方便日志的采集。 在CDH5.3.0版本中是:flume-ng-log4jappender-1....

cloud-coder
2015/07/06
12.5K
4

没有更多内容

加载失败,请刷新页面

加载更多

Docker下使用disconf:细说demo开发

Docker下的disconf实战全文链接 《Docker搭建disconf环境,三部曲之一:极速搭建disconf》; 《Docker搭建disconf环境,三部曲之二:本地快速构建disconf镜像》; 《Docker搭建disconf环境,...

程序员欣宸
22分钟前
4
0
centos7配置nfs共享存储服务

nfs 是一种网络文件系统,需要依赖rpc进行过程调度 注意nfs只验证id,验证用户名,并且只能在类unix os上进行文件共享服务,由于它的脆弱的验证机制,所以不适宜在internet上工作,在内网使用...

老孟的Linux私房菜
25分钟前
4
0
【F5小常识】F5的 Web 应用防火墙 (WAF)有什么优势?

     现如今传统防火墙已无法满足企业安全需求,网络攻击大多发生在应用层和网络层故障,且呈上升趋势,传统的防火墙存在着很大的不足之处,包括无法检测加密的Web流量、无法扩展深度检测...

梅丽莎好
36分钟前
4
0
整合到 Mockito 2

为了能够持续改进 Mockito 和在未来提升测试体验,我们希望你能够升级到 Mockito 2.10!Mockito 按照语义化版本(semantic versioning)的方式对版本进行编排,并且只在主版本升级的时候包含...

honeymoose
36分钟前
4
0
spring boot actuator

actuator 是监控系统健康的工具,引入 spring-boot-starter-actuator会暴露一些endpoint. 可通过如下配置来配置这些endpoint的基本配置: 可通过http:${url}:28081/management/actuator/*来访...

ZH-JSON
43分钟前
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部