文档章节

RedHat6.5安装单机flume1.6

四叶草666
 四叶草666
发布于 2017/07/20 09:22
字数 595
阅读 2
收藏 0

版本号:

RedHat6.5   JDK1.8   apache-flume-1.6.0

1.apache-flume-1.6.0-bin.tar.gz 下载

官网下载地址:http://archive.apache.org/dist/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz

百度云盘下载地址:链接:http://pan.baidu.com/s/1pKPah0f 密码:ovbe

2.安装

新建一个/usr/local/flume目录,上传apache-flume-1.6.0-bin.tar.gz,解压:

mkdir /usr/local/flume
tar -xvf  /usr/local/flume/apache-flume-1.6.0-bin.tar.gz

如图:

3.配置 /etc/profile

sudo gedit /etc/profile

 
  1. #set flume environment
  2. export FLUME_HOME=/usr/local/flume/apache-flume-1.6.0-bin
  3. export FLUME_CONF_DIR=$FLUME_HOME/conf
  4. export PATH=$FLUME_HOME/bin:$PATH

source /etc/profile

4.配置flume JAVA_HOME

把flume-env.sh.template重命名为flume-env.sh,往里添加

cd /usr/local/flume/apache-flume-1.6.0-bin/conf

cp flume-env.sh.template flume-env.sh

sudo gedit flume-env.sh

 
  1. export JAVA_HOME=/usr/local/java/jdk1.8

检验

/usr/local/flume/apache-flume-1.6.0-bin/bin/flume-ng version

 
  1.  [root@master conf]# /usr/local/flume/apache-flume-1.6.0-bin/bin/flume-ng version
  2. Flume 1.6.0
  3. Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
  4. Revision: 2561a23240a71ba20bf288c7c2cda88f443c2080
  5. Compiled by hshreedharan on Mon May 11 11:15:44 PDT 2015
  6. From source with checksum b29e416802ce9ece3269d34233baf43f
  7. [root@master conf]# 

5. 简单测试示例

5.1 添加配置文件

 
  1. touch /usr/local/flume/apache-flume-1.6.0-bin/conf/flume.conf
  2. sudo gedit /usr/local/flume/apache-flume-1.6.0-bin/conf/flume.conf

flume.conf输入以下内容:

 
  1. # 指定Agent的组件名称
  2. agent1.sources = source1
  3. agent1.sinks = sink1
  4. agent1.channels = channel1
  5.  
  6. # 指定Flume source(要监听的路径)
  7. agent1.sources.source1.type = spooldir
  8. agent1.sources.source1.spoolDir= /usr/local/flume/logtest
  9.  
  10. # 指定Flume sink
  11. agent1.sinks.sink1.type = logger
  12.  
  13. # 指定Flume channel
  14. agent1.channels.channel1.type = memory
  15. agent1.channels.channel1.capacity = 1000
  16. agent1.channels.channel1.transactionCapacity = 100
  17.  
  18. # 绑定source和sink到channel上
  19. agent1.sources.source1.channels = channel1
  20. agent1.sinks.sink1.channel = channel1

在/usr/local/flume目录下新建一个logtest目录:

mkdir /usr/local/flume/logtest

5.2 启动flume agent

 
  1. cd /usr/local/flume/apache-flume-1.6.0-bin
  2. bin/flume-ng agent --conf conf --conf-file conf/flume.conf --name agent1 -Dflume.root.logger=INFO,console

参数作用举例

–conf 或 -c 指定配置文件夹,包含flume-env.sh和log4j的配置文件–conf conf

–conf-file 或 -f 配置文件地址–conf-file conf/flume.conf

–name 或 -n agent名称    –name agent1

-z zookeeper连接字符串-z zkhost:2181,zkhost1:2181

-p zookeeper中的存储路径前缀-p /flume 

5.3 写入日志内容

在/usr/local/flume目录下面新建一个testFlume.log日志文件,写入Hello Flume.作为测试内容:

 
  1. touch /usr/local/flume/testFlume.log
  2. sudo gedit /usr/local/flume/testFlume.log

 

 

然后拷贝到flume监听路径/usr/local/flume/logtest下:

 
  1. cp /usr/local/flume/testFlume.log /usr/local/flume/logtest

接着就可以在前一个终端看到刚刚采集的内容了,如下:

 
  1. 2017-07-07 21:15:59,063 (pool-3-thread-1) [INFO - org.apache.flume.client.avro.ReliableSpoolingFileEventReader.rollCurrentFile(ReliableSpoolingFileEventReader.java:348)] Preparing to move file /usr/local/flume/logtest/testFlume.log to /usr/local/flume/logtest/testFlume.log.COMPLETED
  2. 2017-07-07 21:16:00,841 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.LoggerSink.process(LoggerSink.java:94)] Event: { headers:{} body: 48 65 6C 6C 6F 20 46 6C 75 6D 65 2E             Hello Flume. }

 

Flume成功安装,666!

© 著作权归作者所有

共有 人打赏支持
四叶草666
粉丝 0
博文 51
码字总数 50778
作品 0
深圳
程序员
flume1.6经常自动停止

flume1.6使用命令bin/flume-ng agent -n a1 -c conf -f conf/local_nginx.conf开启后,经过一段时间发现flume停止了。 我多次测试发现开启后flume,立刻关闭终端,flume就会停止。 flume开启...

cookqq
2015/08/21
577
2
红帽6.5系统---封装虚拟机

虚拟机封装 封装的意义:将一个虚拟机设置成类似于一个安装包的东西。使做出来的镜像文件可以快速的在别的主机上安装和使用 步骤: 1.打开vmmanager,在这里我选择了本地磁盘镜像的导入。并且...

Lyitx
2017/03/12
0
0
flume1.6 install

1.apache-flume-1.6.0-bin.tar.gz 下载 http://www.apache.org/dyn/closer.lua/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz 2.安装 解压,配置bash: /etc/profile或.zshrc ➜ ~ vim .zshrc 配......

ericSM
2016/06/15
338
0
Redhat 6.5 单机安装Oracle 11G

Redhat6.5 单机安装Oracle11G 1 安装Oracle 1.1 环境准备 1.1.1 操作系统环境准备 操作系统:Redhat 6.5(安装图形化界面),需要网络通畅,配置静态IP地址。 Oracl版本:Oracle 11G 由于版权...

青芒.
09/14
0
0
linux迁移perl开发环境

操作系统:CentOS6.5/redhat6.5 问题:使用cpanm安装好一台机器perl环境,但另一台机器没有网络环境,有没有好的办法迁移已经安装好的perl环境过去呢

o00o
2017/03/28
80
0

没有更多内容

加载失败,请刷新页面

加载更多

python:关于读取文件的指定行的问题

先来造一个文件:就叫做 test.txt吧,内容是下面这个样子: 表头1,数据12,数据23,数据34,数据45,数据56,数据67,数据7 那么我们并不打算把这个表头给读出来 怎么办呢? 先来打开文...

Oh_really
33分钟前
1
0
Rails 用现代 Rails 逃离单页面应用 “兔子洞”

在工作共总是觉得turbolinks非常爽,但是却总是被说成是过时的技术,大家都喜欢spa,哪怕不用的spa的人也是禁用掉的多,找不到很好的理由劝说别人使用,这篇文章说的很到位,或者说至少是牛人...

wmzsonic
38分钟前
0
0
Hive 分布式搭建,Spark集成Hive记录

本帖详细介绍搭建步骤,仅仅记录自己搭建过程以及采坑经历。 前提环境: Hadoop集群 版本2.7.2 Spark集群 版本2.1.0 Linux版本 Centos7 准备搭建 MySql版本5.5.61 ,Hive-2.1.0 去官网下载M...

我爱春天的毛毛雨
40分钟前
3
0
打包QML程序

1、windeployqt执行路径(D:\Qt\5.12.0\msvc2017_64\bin)加入到PATH中 2、使用Qt自带的命令行交互 Command 终端(Qt 5.12.0 64-bit for Desktop (MSVC 2017))切换到 Release 编译成功的exe...

渣渣曦
今天
4
0
优秀互联网高级测试工程师应该具备的能力

概述 在之前写的互联网高级测试工程师至少具备的能力一文中,提到了测试工程师至少具备的能力,但是并没有提到优秀测试工程师应该具备的能力,下文简单的谈一谈。当然这些全部都是我的个人理...

Sam哥哥聊技术
今天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部