文档章节

Flume ng1.6 + kafka 2.11 整合

whitelover
 whitelover
发布于 2015/12/25 16:19
字数 272
阅读 70
收藏 0
  1. 第一步

    安装Apache Flume 1.6;

  2. 第二步

    安装kafka;

    启动kafka步骤:

    <1>启动zookeeper服务

    bin/zookeeper-server-start.sh config/zookeeper.properties &

    <2>启动kafka

    bin/kafka-server-start.sh config/server.properties

    <3>启动consumer(--from-beginning:此参数可以不要,表示启动之前接收到的消息也要消费 )

    bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

  3. 第三步

         配置flume 配置文件kafka-test.conf :

            #Name the components on this agent

            a1.sources = r1

            a1.sinks = k1

            a1.channels = c1

            #Describe/configure the source

            a1.sources.r1.type=netcat

            a1.sources.r1.bind=localhost

            a1.sources.r1.port=3333

            #Describe the sink ( kafka sink 配置)

            a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink

            a1.sinks.k1.topic = test

            a1.sinks.k1.brokerList =172.19.16.213:9092

            a1.sinks.k1.requiredAcks = 0

            a1.sinks.k1.batchSize = 20

            #kafka.producer.type=sync

            #kafka.partitioner.class=org.apache.flume.plugins.SinglePartition

            #Use a channel which buffers events in memory

            a1.channels.c1.type=memory

            a1.channels.c1.capacity=1000

            a1.channels.c1.transactionCapacity=100

            #Bind the source and sink to the channel

            a1.sources.r1.channels=c1

            a1.sinks.k1.channel=c1

    4.第四步 启动flume

    bin/flume-ng agent -c conf -f conf/kafka-test.conf --name a1 -Dflume.root.logger=INFO,console

 或

    bin/flume-ng agent -c conf -f conf/kafka-test.conf --name a1 &

    5.第五步测试

    

    6.验证是否发送成功

    在启动consumer控制台查看接收到的消息。


© 著作权归作者所有

共有 人打赏支持
whitelover
粉丝 12
博文 26
码字总数 10236
作品 0
【Strom篇】Flume+Kafaka+Strom整合完成信息记录

第一部分:流程分析 由flume收集客户端发送的信息,经过kafka集群消费者收集,然后给storm集群数据处理(数据清洗),最后再发给kafka集群收集。 第二部分:集群搭建 flume+kafka 一、配合f...

chenshi_2753
05/06
0
0
Flume - Kafka日志平台整合

1. Flume介绍 Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行...

mantoudev
03/21
0
0
Flume+Kafka+Storm+Redis构建大数据实时处理系统

一、大数据处理的常用方法 之前在《采集→清洗→处理:基于MapReduce的离线数据分析》中已经有提及到,这里依然给出下面的图示: 前面给出的那篇文章是基于MapReduce的离线数据分析案例,其通...

技术小能手
07/09
0
0
kafka来读取flume的数据

一、查看kafka topic ./kafka-topics.sh --list --zookeeper bigdata-test-3:2181, bigdata-test-2:2181, bigdata-test-1:2181, bigdata-test-4:2181, bigdata-test-5:2181 ./kafka-topics.s......

weixin_41876523
05/24
0
0
Flume+Kafka+Storm+Redis构建大数据实时处理系统:实时统计网站PV、UV+展示

[TOC] 1 大数据处理的常用方法 前面在我的另一篇文章中《大数据采集、清洗、处理:使用MapReduce进行离线数据分析完整案例》中已经有提及到,这里依然给出下面的图示: 前面给出的那篇文章是...

xpleaf
04/16
0
0

没有更多内容

加载失败,请刷新页面

加载更多

CentOS7防火墙firewalld操作

firewalld Linux上新用的防火墙软件,跟iptables差不多的工具。 firewall-cmd 是 firewalld 的字符界面管理工具,firewalld是CentOS7的一大特性,最大的好处有两个:支持动态更新,不用重启服...

dingdayu
今天
1
0
关于组件化的最初步

一个工程可能会有多个版本,有国际版、国内版、还有针对各种不同的渠道化的打包版本、这个属于我们日常经常见到的打包差异化版本需求。 而对于工程的开发,比如以前的公司,分成了有三大块业...

DannyCoder
今天
2
0
Spring的Resttemplate发送带header的post请求

private HttpHeaders getJsonHeader() { HttpHeaders headers = new HttpHeaders(); MediaType type = MediaType.parseMediaType("application/json; charset=UTF-8"); ......

qiang123
昨天
3
0
Spring Cloud Gateway 之 Only one connection receive subscriber allowed

都说Spring Cloud Gateway好,我也来试试,可是配置了总是报下面这个错误: java.lang.IllegalStateException: Only one connection receive subscriber allowed. 困扰了我几天的问题,原来...

ThinkGem
昨天
31
0
学习设计模式——观察者模式

1. 认识观察者模式 1. 定义:定义对象之间一种一对多的依赖关系,当一个对象状态发生变化时,依赖该对象的其他对象都会得到通知并进行相应的变化。 2. 组织结构: Subject:目标对象类,会被...

江左煤郎
昨天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部