文档章节

flume的安装使用

创意顽石
 创意顽石
发布于 2016/01/26 17:58
字数 241
阅读 111
收藏 3

下载flume:

wget

解压了就可以使用了:

配置文件:

agent1.channels = ch1
agent1.sources = avro-source1
agent1.sinks = log-sink1

agent1.channels.ch1.type = memory

# Define an Avro source called avro-source1 on agent1 and tell it
# to bind to 0.0.0.0:41414. Connect it to channel ch1.
agent1.sources.avro-source1.channels = ch1
agent1.sources.avro-source1.type = avro
agent1.sources.avro-source1.bind = 0.0.0.0
agent1.sources.avro-source1.port = 41414

# and connect it to the other end of the same channel.
agent1.sinks.log-sink1.type = file_roll
agent1.sinks.log-sink1.channel = ch1
agent1.sinks.log-sink1.sink.directory = /app/flume/logs

配置文件的知识可以参考以下网页:

http://flume.apache.org/FlumeUserGuide.html#file-channel

然后服务器端就可以启动了:

nohup ./bin/flume-ng agent -n agent1 -c conf -f conf/flume.conf  > 1.log &

这样,就启动了一个服务器,在41414端口;


------------------客户端------------------

安装方式一样:

 配置文件:

agent.sources = tailsource-tomcat
agent.channels = memoryChannel-1
agent.sinks = remotesink

agent.sources.tailsource-tomcat.type = exec
agent.sources.tailsource-tomcat.command = tail -F /app/yldsys/tomcat/logs/catalina.out
agent.sources.tailsource-tomcat.channels = memoryChannel-1


agent.channels.memoryChannel-1.type = memory
agent.channels.memoryChannel-1.keep-alive = 10
agent.channels.memoryChannel-1.capacity = 100000
agent.channels.memoryChannel-1.transactionCapacity =100000

agent.sinks.remotesink.type = avro
agent.sinks.remotesink.hostname = 127.0.0.1
agent.sinks.remotesink.port = 41414
agent.sinks.remotesink.channel = memoryChannel-1

通过一个exec工具,将日志tail出来,然后发送到avro对应到收集器中。


© 著作权归作者所有

共有 人打赏支持
创意顽石
粉丝 4
博文 32
码字总数 11295
作品 0
丰台
高级程序员
Flume OG和Flume NG的区别

应用场景 Flume作为Hadoop中的日志采集工具,非常的好用,但是在安装Flume的时候,查阅很多资料,发现形形色色,有的说安装Flume很简单,有的说安装Flume很复杂,需要依赖zookeeper,所以一方...

wsc449
2017/11/23
0
0
flume 1.7 源码导入eclipse windows

安装maven,设置MAVEN_HOME等配置 下载flume源码 eclipse-oxygen,设置eclipse 使用外部maven,并配置settings.xml 遇到问题: 如果顺利,已将所需jar都下载下来了。 导入后遇到如下问题 fl...

柯里昂
2017/10/31
0
0
Flume学习系列(一)----总体介绍

前言: 本文是flume学习系列的开篇,主要介绍了flume的各种组件及相关配置。但是本篇文章并不打算从环境搭建开始,因为比较简单而且网上资料也很详尽: So,研读了一下官方文档,特此把Flume...

小北觅
08/20
0
0
02. Spark Streaming实时流处理学习——分布式日志收集框架Flume

2. 分布式日志收集框架Flume 2.1 业务现状分析 如上图,大量的系统和各种服务的日志数据持续生成。用户有了很好的商业创意想要充分利用这些系统日志信息。比如用户行为分析,轨迹跟踪等等。 ...

牦牛sheriff
09/02
0
0
log4j直接输出日志到flume

log4j直接输出日志到flume 此jar是由Cloudera的CDH发行版提供的一个工具类,通过配置,可以将log4j的日志直接输出到flume,方便日志的采集。 在CDH5.3.0版本中是:flume-ng-log4jappender-1....

cloud-coder
2015/07/06
0
4

没有更多内容

加载失败,请刷新页面

加载更多

如何通过 J2Cache 实现分布式 session 存储

做 Java Web 开发的人多数都会需要使用到 session (会话),我们使用 session 来保存一些需要在两个不同的请求之间共享数据。一般 Java 的 Web 容器像 Tomcat、Resin、Jetty 等等,它们会在...

红薯
41分钟前
1
0
C++ std::thread

C++11提供了std::thread类来表示一个多线程对象。 1,首先介绍一下std::this_thread命名空间: (1)std::this_thread::get_id():返回当前线程id (2)std::this_thread::yield():用户接口...

yepanl
今天
2
0
Nignx缓存文件与动态文件自动均衡的配置

下面这段nginx的配置脚本的作用是,自动判断是否存在缓存文件,如果有优先输出缓存文件,不经过php,如果没有,则回到php去处理,同时生成缓存文件。 PHP框架是ThinkPHP,最后一个rewrite有关...

swingcoder
今天
1
0
20180920 usermod命令与用户密码管理

命令 usermod usermod 命令的选项和 useradd 差不多。 一个用户可以属于多个组,但是gid只有一个;除了gid,其他的组(groups)叫做扩展组。 usermod -u 1010 username # 更改用户idusermod ...

野雪球
今天
1
0
Java网络编程基础

1. 简单了解网络通信协议TCP/IP网络模型相关名词 应用层(HTTP,FTP,DNS等) 传输层(TCP,UDP) 网络层(IP,ICMP等) 链路层(驱动程序,接口等) 链路层:用于定义物理传输通道,通常是对...

江左煤郎
今天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部