文档章节

Flume Installation

Yulong_
 Yulong_
发布于 2017/08/10 23:09
字数 393
阅读 132
收藏 0

下载flume二进制安装包:apache-flume-1.6.0-bin.tar.gz

http://www.apache.org/dist/flume/1.6.0/

http://www.apache.org/dist/flume/1.7.0/

把apache-flume-1.6.0-bin.tar.gz文件存放在/opt/beh/core目录下,进行解压:

tar -zxvf apache-flume-1.6.0-bin.tar.gz

改名:

mv apache-flume-1.6.0-bin flume

l  设置环境变量

export FLUME_HOME=/opt/beh/core/flume

export PATH=$PATH:$ FLUME_HOME/bin

l  配置参数文件

配置文件存放在$FLUME_HOME/conf/目录下,将flume-env.sh.template文件名称改为flume-env.sh

mv flume-env.sh.template flume-env.sh

配置内容如下:

# Licensed to the Apache Software Foundation (ASF) under one
# or more contributor license agreements.  See the NOTICE file
# distributed with this work for additional information
# regarding copyright ownership.  The ASF licenses this file
# to you under the Apache License, Version 2.0 (the
# "License"); you may not use this file except in compliance
# with the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
 
# If this file is placed at FLUME_CONF_DIR/flume-env.sh, it will be sourced
# during Flume startup.
 
# Enviroment variables can be set here.
 
# export JAVA_HOME=/usr/lib/jvm/java-6-sun
 
# Give Flume more memory and pre-allocate, enable remote monitoring via JMX
 export JAVA_OPTS="-Xms1024m -Xmx4096m -Dcom.sun.management.jmxremote"
 
# Note that the Flume conf directory is always included in the classpath.
#FLUME_CLASSPATH=""

配置说明:

JAVA_OPTS设置flume启动agent时JVM分配的最小内存和最大内存,根据机器配置尽量设置大一点。

l  验证是否安装成功

    进入$FLUME_HOME/bin路径下,执行:flume-ng version ,如果显示版本号说明安装成功。

© 著作权归作者所有

Yulong_
粉丝 10
博文 145
码字总数 253510
作品 0
朝阳
部门经理
私信 提问
加载中

评论(0)

Apache Flume 1.7.0 发布,日志服务器

Apache Flume 1.7.0 发布了,Flume 是一个分布式、可靠和高可用的服务,用于收集、聚合以及移动大量日志数据,使用一个简单灵活的架构,就流数据模型。这是一个可靠、容错的服务。 本次更新如...

局长
2016/10/19
2.2K
3
Flafka: Apache Flume Meets Apache Kafka for Event Processing

The new integration between Flume and Kafka offers sub-second-latency event processing without the need for dedicated infrastructure. In this previous post you learned some Apac......

osc_19xw33d3
2018/05/25
2
0
CentOS6安装各种大数据软件 第七章:Flume安装与配置

相关文章链接 CentOS6安装各种大数据软件 第一章:各个软件版本介绍 CentOS6安装各种大数据软件 第二章:Linux各个软件启动命令 CentOS6安装各种大数据软件 第三章:Linux基础软件的安装 Ce...

osc_my2aqmiz
2019/03/29
2
0
大数据技术之_09_Flume学习_Flume概述+Flume快速入门+Flume企业开发案例+Flume监控之Ganglia+Flume高级之自定义MySQLSource+Flume企业真实面...

第1章 Flume概述1.1 Flume定义1.2 Flume组成架构1.2.1 Agent1.2.2 Source1.2.3 Channel1.2.4 Sink1.2.5 Event1.3 Flume拓扑结构1.4 Flume Agent内部原理1.5 Hadoop三大发行版本第2章 Flume快......

osc_6ogjsu3t
2019/03/04
15
0
flume使用之exec source收集各端数据汇总到另外一台服务器

转载:http://blog.csdn.net/liuxiao723846/article/details/78133375 一、场景一描述: 线上api接口服务通过log4j往本地磁盘上打印日志,在接口服务器上安装flume,通过exec source收集日志...

osc_6y4us9hc
2018/01/19
4
0

没有更多内容

加载失败,请刷新页面

加载更多

智慧城市交通的要素:路口监管可视化系统的解决方案

前言 随着信息时代的发展变迁,荧幕里呈现的 智慧城市慢慢出现了在现实生活中,很大程度上便利了日常的管理和维护。在智慧城市的大背景下, 智慧交通监管可视化系统是其重要的组成部分,通过...

osc_b8epmas9
47分钟前
19
0
CPU上下文切换以及相关指标的理解

前言 上下文切换这个词一直不理解,看了无数遍就忘了无数遍,知道看到《操作系统导论》这本书,终于有了略微的理解。这也证明了我的方向是没错的,一直认为做运维还是得理解底层的知识,不理...

osc_n1x6m26g
48分钟前
23
0
记一次 React Native 大版本升级过程——从0.40到0.59

去年把公司几个react native 相关的项目升级了下,已经过去一段时间了,这里系统整理下之前的整个过程。 背景 之前到公司的时候发现公司用的还是0.40的版本,据了解,当时项目做的比较早,导...

osc_j34n26zn
49分钟前
13
0
谈谈压测

背景 随着业务不断发展,用户量不断增加,系统负载越来越高。为了解决系统负载问题,我们是不是直接大量增加机器就可以了? 同时,公司业务开展需要,可能需要开展各种营销活动,目前系统是否...

osc_cudh2wh2
51分钟前
19
0
scipy.sparse的一些整理

一、scipy.sparse中七种稀疏矩阵类型 1、bsr_matrix:分块压缩稀疏行格式 介绍   BSR矩阵中的inptr列表的第i个元素与i+1个元素是储存第i行的数据的列索引以及数据的区间索引,即indices[i...

osc_auwur47t
53分钟前
27
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部