文档章节

Flume学习笔记-windows简单应用

Endless2010
 Endless2010
发布于 2017/07/30 22:28
字数 422
阅读 8
收藏 1

下载安装

http://flume.apache.org/download.html 输入图片说明

HelloWorld

flume-conf.properties.template的默认配置为,source为seq,即产生一个0,1,2这样的数字序列,主要为了测试,sink为logger,即打印序列到日志中,日志配置在conf/log4j.properties中,修改为:flume.log.dir=../logs

agent.sources = seqGenSrc
agent.channels = memoryChannel
agent.sinks = loggerSink

agent.sources.seqGenSrc.type = seq
agent.sources.seqGenSrc.channels = memoryChannel
agent.sinks.loggerSink.type = logger
agent.sinks.loggerSink.channel = memoryChannel
agent.channels.memoryChannel.type = memory
agent.channels.memoryChannel.capacity = 100

复制flume-conf.properties.template为helloworld-conf.properties,启动:

输入图片说明

bin>flume-ng agent --conf ../conf --conf-file ../conf/helloworld-conf.properties  --name agent

输入图片说明

其中--conf指定conf目录位置,即为上层目录,--conf-file指定具体配置文件位置 --name指定agent的名称,一个配置文件里可能配置多个agent

然后在logs目录下可以看到日志文件中的日志:

输入图片说明

输出到HDFS,HBase中

agent1.sources = seqSource
agent1.channels = hdfsChannel hbaseChannel
agent1.sinks = hdfsSink hbaseSink

agent1.sources.seqSource.type = seq
agent1.sources.seqSource.channels = hdfsChannel hbaseChannel

agent1.channels.hdfsChannel.type = memory
agent1.channels.hdfsChannel.capacity = 10000
agent1.channels.hbaseChannel.type = memory
agent1.channels.hbaseChannel.capacity = 10000

agent1.sinks.hdfsSink.channel = hdfsChannel
agent1.sinks.hdfsSink.type = hdfs
agent1.sinks.hdfsSink.hdfs.fileType=DataStream
agent1.sinks.hdfsSink.hdfs.writeFormat=Text
agent1.sinks.hdfsSink.hdfs.path = hdfs://127.0.0.1:9000/flume/%Y%m%d
agent1.sinks.hdfsSink.hdfs.filePrefix=log_%H%M 
agent1.sinks.hdfsSink.hdfs.fileSuffix=.txt
agent1.sinks.hdfsSink.hdfs.rollInterval=30
agent1.sinks.hdfsSink.hdfs.rollCount=0
agent1.sinks.hdfsSink.hdfs.rollSize=0  
agent1.sinks.hdfsSink.hdfs.useLocalTimeStamp=true 

agent1.sinks.hbaseSink.channel = hbaseChannel
agent1.sinks.hbaseSink.type = hbase
agent1.sinks.hbaseSink.table = flume
agent1.sinks.hbaseSink.columnFamily = seqence

其中hdfs.rollInterval为30,即30S产生一个文件,为了测试,下面两个配置为0,否则不会30S生成一个文件

hdfs.rollSize表示文件大小超过该值后,会生成新的文件,配置为0表示不基于文件大小生成文件

hdfs.rollCount默认为10,即10个事件生成一个文件,配置为0表示不基于事件数生成文件

HBase要先创建好表 HDFS的目录/flume/%Y%m%d会自动生成,使用useLocalTimeStamp时间填充

启动方式类似,这里的agent改为了agent1

D:\apache-flume-1.7.0-bin\bin>flume-ng agent --conf ../conf --conf-file ../conf/helloworld-conf.properties --name agent1

输入图片说明 输入图片说明 输入图片说明 输入图片说明

© 著作权归作者所有

共有 人打赏支持
Endless2010
粉丝 1
博文 36
码字总数 23027
作品 0
南京
程序员
Flume NG 学习笔记(一)简介

一、简介 Flume是一个分布式、可靠、高可用的海量日志聚合系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据的简单处理,并写到各种数据接收方的能力。 Flume在0...

jackwxh
06/29
0
0
Flume学习系列(一)----总体介绍

前言: 本文是flume学习系列的开篇,主要介绍了flume的各种组件及相关配置。但是本篇文章并不打算从环境搭建开始,因为比较简单而且网上资料也很详尽: So,研读了一下官方文档,特此把Flume...

小北觅
08/20
0
0
Flume日志收集分层架构应用实践

Flume作为一个日志收集工具,非常轻量级,基于一个个Flume Agent,能够构建一个很复杂很强大的日志收集系统,它的灵活性和优势,主要体现在如下几点: 1)模块化设计:在其Flume Agent内部可...

workming
06/29
0
0
带你看懂大数据采集引擎之Flume&采集目录中的日志

欢迎关注大数据和人工智能技术文章发布的微信公众号:清研学堂,在这里你可以学到夜白(作者笔名)精心整理的笔记,让我们每天进步一点点,让优秀成为一种习惯! 一、Flume的介绍: Flume由C...

李金泽
03/04
0
0
flume 1.7 源码导入eclipse windows

安装maven,设置MAVEN_HOME等配置 下载flume源码 eclipse-oxygen,设置eclipse 使用外部maven,并配置settings.xml 遇到问题: 如果顺利,已将所需jar都下载下来了。 导入后遇到如下问题 fl...

柯里昂
2017/10/31
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Bash重定向详解

Bash重定向详解 Bash的重定向指的是将命令的输入和输出导向不同地方,而不是默认的标准输入、标准输出和标准错误。Bash的重定向实际上是对标准输入、标准输出和标准错误的重置,进而将所需输...

小陶小陶
今天
3
0
EventBus原理深度解析

一、问题描述 在工作中,经常会遇见使用异步的方式来发送事件,或者触发另外一个动作:经常用到的框架是MQ(分布式方式通知)。如果是同一个jvm里面通知的话,就可以使用EventBus。由于Event...

yangjianzhou
今天
11
0
OpenCV图像处理实例:libuv+cvui显示摄像头视频

#include <iostream>#include <opencv2/opencv.hpp>#define CVUI_IMPLEMENTATION#include <cvui.h>extern "C"{#include <uv.h>}using namespace std;#define WINDOW_NAM......

IOTService
今天
3
0
openJDK之JDK9的String

1.openJDK8的String 先来看下openJDK8的String的底层,如下图1.1所示: 图1.1 底层上使用的是char[],即char数组 每个char占16个bit,Character.SIZE的值是16。 2.openJDK9中的String 图2.1...

克虏伯
今天
4
0
UEFI 模式下如何安装 Ubuntu 16.04

作者:知乎用户 链接:https://www.zhihu.com/question/52092661/answer/259583475 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 针对UEFI模式下安装U...

寻知者
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部