文档章节

Flume ng1.6 + kafka 2.11 整合

whitelover
 whitelover
发布于 2015/12/25 16:19
字数 272
阅读 71
收藏 0
  1. 第一步

    安装Apache Flume 1.6;

  2. 第二步

    安装kafka;

    启动kafka步骤:

    <1>启动zookeeper服务

    bin/zookeeper-server-start.sh config/zookeeper.properties &

    <2>启动kafka

    bin/kafka-server-start.sh config/server.properties

    <3>启动consumer(--from-beginning:此参数可以不要,表示启动之前接收到的消息也要消费 )

    bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

  3. 第三步

         配置flume 配置文件kafka-test.conf :

            #Name the components on this agent

            a1.sources = r1

            a1.sinks = k1

            a1.channels = c1

            #Describe/configure the source

            a1.sources.r1.type=netcat

            a1.sources.r1.bind=localhost

            a1.sources.r1.port=3333

            #Describe the sink ( kafka sink 配置)

            a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink

            a1.sinks.k1.topic = test

            a1.sinks.k1.brokerList =172.19.16.213:9092

            a1.sinks.k1.requiredAcks = 0

            a1.sinks.k1.batchSize = 20

            #kafka.producer.type=sync

            #kafka.partitioner.class=org.apache.flume.plugins.SinglePartition

            #Use a channel which buffers events in memory

            a1.channels.c1.type=memory

            a1.channels.c1.capacity=1000

            a1.channels.c1.transactionCapacity=100

            #Bind the source and sink to the channel

            a1.sources.r1.channels=c1

            a1.sinks.k1.channel=c1

    4.第四步 启动flume

    bin/flume-ng agent -c conf -f conf/kafka-test.conf --name a1 -Dflume.root.logger=INFO,console

 或

    bin/flume-ng agent -c conf -f conf/kafka-test.conf --name a1 &

    5.第五步测试

    

    6.验证是否发送成功

    在启动consumer控制台查看接收到的消息。


© 著作权归作者所有

共有 人打赏支持
whitelover
粉丝 12
博文 26
码字总数 10236
作品 0
私信 提问
Apache Flume 1.7.0 发布,日志服务器

Apache Flume 1.7.0 发布了,Flume 是一个分布式、可靠和高可用的服务,用于收集、聚合以及移动大量日志数据,使用一个简单灵活的架构,就流数据模型。这是一个可靠、容错的服务。 本次更新如...

局长
2016/10/19
2K
3
Apache Flume 1.6.0 发布,日志服务器

Apache Flume 1.6.0 发布,此版本现已提供下载: http://flume.apache.org/download.html 更新内容: ** Bug 修复 [FLUME-1793] - Unit test TestElasticSearchLogStashEventSerializer fail......

oschina
2015/06/03
3.1K
2
Flume - Kafka日志平台整合

1. Flume介绍 Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行...

mantoudev
03/21
0
0
【Strom篇】Flume+Kafaka+Strom整合完成信息记录

第一部分:流程分析 由flume收集客户端发送的信息,经过kafka集群消费者收集,然后给storm集群数据处理(数据清洗),最后再发给kafka集群收集。 第二部分:集群搭建 flume+kafka 一、配合f...

chenshi_2753
05/06
0
0
kafka来读取flume的数据

一、查看kafka topic ./kafka-topics.sh --list --zookeeper bigdata-test-3:2181, bigdata-test-2:2181, bigdata-test-1:2181, bigdata-test-4:2181, bigdata-test-5:2181 ./kafka-topics.s......

weixin_41876523
05/24
0
0

没有更多内容

加载失败,请刷新页面

加载更多

KaliLinux常用服务配置教程DHCP服务工作流程

KaliLinux常用服务配置教程DHCP服务工作流程 DHCP服务工作流程如图1.1所示。 具体的工作流程如下所示: (1)DHCP客户端以广播的方式发出DHCP Discover报文。 (2)所有的DHCP服务器(DHCP ...

大学霸
7分钟前
0
0
Spring Junit单元测试配置

<dependency> <groupId>org.springframework</groupId> <artifactId>spring-test</artifactId> <version>5.1.2.RELEASE</version></dependency><dependency> <group......

TonyTaotao
11分钟前
0
0
线程安全与非线程安全-个人理解

类的某个方法是线程安全的, 说明这个方法在并发执行中,从开始执行到执行完毕,都是同步的, 比如:之前做的并发数据导出,并发的查询数据库, 但是在写入excel的时候,需要做一个同步,因为...

Java搬砖工程师
13分钟前
1
0
如何提升JavaScript的任务效率?学会后教给你同事

本文由云+社区发表 一、概述 JavaScript 语言采用的是单线程模型,也就是说,所有任务只能在一个线程上完成,一次只能做一件事。前面的任务没做完,后面的任务只能等着。随着电脑计算能力的增...

腾讯云加社区
14分钟前
0
0
Hadoop运行在Kubernetes平台实践

Hadoop与Kubernetes就好像江湖里的两大绝世高手,一个是成名已久的长者,至今仍然名声远扬,一个则是初出茅庐的青涩少年,骨骼惊奇,不走寻常路,一出手便惊诧了整个武林。Hadoop与Kubernete...

微笑向暖wx
14分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部