文档章节

flume的安装使用

创意顽石
 创意顽石
发布于 2016/01/26 17:58
字数 241
阅读 112
收藏 3

下载flume:

wget

解压了就可以使用了:

配置文件:

agent1.channels = ch1
agent1.sources = avro-source1
agent1.sinks = log-sink1

agent1.channels.ch1.type = memory

# Define an Avro source called avro-source1 on agent1 and tell it
# to bind to 0.0.0.0:41414. Connect it to channel ch1.
agent1.sources.avro-source1.channels = ch1
agent1.sources.avro-source1.type = avro
agent1.sources.avro-source1.bind = 0.0.0.0
agent1.sources.avro-source1.port = 41414

# and connect it to the other end of the same channel.
agent1.sinks.log-sink1.type = file_roll
agent1.sinks.log-sink1.channel = ch1
agent1.sinks.log-sink1.sink.directory = /app/flume/logs

配置文件的知识可以参考以下网页:

http://flume.apache.org/FlumeUserGuide.html#file-channel

然后服务器端就可以启动了:

nohup ./bin/flume-ng agent -n agent1 -c conf -f conf/flume.conf  > 1.log &

这样,就启动了一个服务器,在41414端口;


------------------客户端------------------

安装方式一样:

 配置文件:

agent.sources = tailsource-tomcat
agent.channels = memoryChannel-1
agent.sinks = remotesink

agent.sources.tailsource-tomcat.type = exec
agent.sources.tailsource-tomcat.command = tail -F /app/yldsys/tomcat/logs/catalina.out
agent.sources.tailsource-tomcat.channels = memoryChannel-1


agent.channels.memoryChannel-1.type = memory
agent.channels.memoryChannel-1.keep-alive = 10
agent.channels.memoryChannel-1.capacity = 100000
agent.channels.memoryChannel-1.transactionCapacity =100000

agent.sinks.remotesink.type = avro
agent.sinks.remotesink.hostname = 127.0.0.1
agent.sinks.remotesink.port = 41414
agent.sinks.remotesink.channel = memoryChannel-1

通过一个exec工具,将日志tail出来,然后发送到avro对应到收集器中。


© 著作权归作者所有

共有 人打赏支持
创意顽石
粉丝 4
博文 32
码字总数 11295
作品 0
丰台
高级程序员
私信 提问
Flume Installation

下载flume二进制安装包:apache-flume-1.6.0-bin.tar.gz http://www.apache.org/dist/flume/1.6.0/ http://www.apache.org/dist/flume/1.7.0/ 把apache-flume-1.6.0-bin.tar.gz文件存放在/op......

Yulong_
2017/08/10
0
0
Flume OG和Flume NG的区别

应用场景 Flume作为Hadoop中的日志采集工具,非常的好用,但是在安装Flume的时候,查阅很多资料,发现形形色色,有的说安装Flume很简单,有的说安装Flume很复杂,需要依赖zookeeper,所以一方...

wsc449
2017/11/23
0
0
Apache Flume 1.6.0 发布,日志服务器

Apache Flume 1.6.0 发布,此版本现已提供下载: http://flume.apache.org/download.html 更新内容: ** Bug 修复 [FLUME-1793] - Unit test TestElasticSearchLogStashEventSerializer fail......

oschina
2015/06/03
3.1K
2
Apache Flume 1.5.0 发布,日志服务器

Apache Flume 1.5.0 发布,Flume 是一个分布式、可靠和高可用的服务,用于收集、聚合以及移动大量日志数据,使用一个简单灵活的架构,就流数据模型。这是一个可靠、容错的服务。 改进内容包括...

oschina
2014/05/22
2.8K
4
既有服务器上安装flume的JDK版本问题。

目前生产上跑着的应用使用的是JDK1.6(无法升级,各种原因)。现在想使用flume收集日志。 我看flume 要求jdk1.7以上,如果我再在服务器上安装一个jdk1.8 然后flume自己的配置文件单独制定这个...

StopTWorld
01/01
243
3

没有更多内容

加载失败,请刷新页面

加载更多

计算机系统要素 C5

本章值得一提的是组织计算机的结构。Hack 的指令和数据是分开存储的,因此它的 CPU 有两个 input: IN inM[16], // M value input (M = contents of RAM[A]) instruction[16],...

lionets
18分钟前
0
0
SpringSecurity404需要注意的地方

在使用@RequestMapping的时候路径的值如果写为("auth"),虽然用的时候前面加不加"/"没有区别,但是在配置了SpringSecurity的http.authorizeRequests().antMatchers()时就必须要注意了! 🌰1...

百萬馬力
21分钟前
0
0
10分钟读懂阿里巴巴高级专家在Flutter Live2018的分享

作者:闲鱼技术-宗心 12月4日,google flutter团队宣布第一个flutter正式版本发布。次日,Flutter Live Beijing 会议上,google flutter团队邀请了在这一技术方案中重要的合作伙伴闲鱼团队分...

阿里云官方博客
22分钟前
2
0
RxJava window操作符

原文:https://github.com/Froussios/Intro-To-RxJava/blob/master/Part%204%20-%20Concurrency/3.%20Sequences%20of%20coincidence.md Sequences of coincidence Rx试图避免管道(pipeline)外......

woshixin
29分钟前
1
0
05.Beetl标签函数以及定界符、占位符介绍---《Beetl视频课程》

本期视频实现了博客的详情页面; 内容简介:使用了标签函数layout完成详情功能 一起学beetl目录:https://my.oschina.net/u/1590490?tab=newest&catalogId=6214598 作者:GK #标签函数 layo...

Gavin-King
30分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部