文档章节

kafka sink

Yulong_
 Yulong_
发布于 2017/04/21 13:11
字数 157
阅读 22
收藏 0

flume版本1.6 kafka版本0.8.2

创建配置目录

mkdir /opt/beh/core/flume/conf.d

创建采集数据目录

mkdir /opt/beh/data/flume/kafka-agent

创建配置文件 /opt/beh/core/flume/conf.d/kafka-agent.conf

kafka-agent.sources = src1
kafka-agent.sinks = sink1
kafka-agent.channels = ch1

kafka-agent.channels.ch1.type = memory

kafka-agent.sources.src1.type = spooldir
kafka-agent.sources.src1.spoolDir = /opt/beh/data/flume/kafka-agent
kafka-agent.sources.src1.channels = ch1

kafka-agent.sinks.sink1.channel = ch1  
kafka-agent.sinks.sink1.type = org.apache.flume.sink.kafka.KafkaSink
kafka-agent.sinks.sink1.topic = test
kafka-agent.sinks.sink1.brokerList = localhost:9092
kafka-agent.sinks.sink1.requiredAcks = 1
kafka-agent.sinks.sink1.batchSize = 20

flume agent启动命令

bin/flume-ng agent --conf-file /opt/beh/core/flume/conf.d/kafka-agent.conf --name kafka-agent -Dflum.root.logger=INFO,console

© 著作权归作者所有

上一篇: kafka java 示例
下一篇: Kafka Get Started
Yulong_
粉丝 10
博文 145
码字总数 253510
作品 0
朝阳
部门经理
私信 提问
Using Kafka with Flume

这个文档是 Cloudera Distribution of Apache Kafka 1.3.x. 其他版本的文档在Cloudera Documentation. Using Kafka with Flume 在CDH 5.2.0 及更高的版本中, Flume 包含一个Kafka source an......

晨磊
2015/08/29
1K
0
flume写kafka topic覆盖问题fix

结构: nginx-flume->kafka->flume->kafka(因为牵扯到跨机房问题,在两个kafka之间加了个flume,蛋疼。。) 现象: 在第二层,写入kafka的topic和读取的kafka的topic相同,手动设定的sink topi...

菜菜光
2015/04/25
0
0
Flume使用Kafka Sink导致CPU过高的问题

在日志收集服务器上使用Flume(1.6)的Kafka Sink将日志数据发送至Kafka,在Flume Agent启动之后,发现每个Agent的CPU使用率都非常高,而我们需要在每台机器上启动多个Flume Agent来收集不同...

super_yu
2016/02/24
806
0
flume1.6.0 和kafka整合(kafkasink只有在1.6.0以上的flume版本才有)

一、启动kafka,使用默认配置 ①启动zookeeper,bin/-server-start.sh -daemon config/server.properties ②启动kafka:bin/kafka-server-start.sh -daemon config/server.properties ③创建......

ivan-Zhao
2016/01/17
861
0
《从0到1学习Flink》—— 如何自定义 Data Sink ?

前言 前篇文章 《从0到1学习Flink》—— Data Sink 介绍 介绍了 Flink Data Sink,也介绍了 Flink 自带的 Sink,那么如何自定义自己的 Sink 呢?这篇文章将写一个 demo 教大家将从 Kafka So...

火力全開
03/18
24
0

没有更多内容

加载失败,请刷新页面

加载更多

Spring Cloud 笔记之Spring cloud config client

观察者模式它的数据的变化是被动的。 观察者模式在java中的实现: package com.hxq.springcloud.springcloudconfigclient;import org.springframework.context.ApplicationListener;i...

xiaoxiao_go
今天
4
0
CentOS7.6中安装使用fcitx框架

内容目录 一、为什么要使用fcitx?二、安装fcitx框架三、安装搜狗输入法 一、为什么要使用fcitx? Gnome3桌面自带的输入法框架为ibus,而在使用ibus时会时不时出现卡顿无法输入的现象。 搜狗和...

技术训练营
今天
4
0
《Designing.Data-Intensive.Applications》笔记 四

第九章 一致性与共识 分布式系统最重要的的抽象之一是共识(consensus):让所有的节点对某件事达成一致。 最终一致性(eventual consistency)只提供较弱的保证,需要探索更高的一致性保证(stro...

丰田破产标志
今天
7
0
docker 使用mysql

1, 进入容器 比如 myslq1 里面进行操作 docker exec -it mysql1 /bin/bash 2. 退出 容器 交互: exit 3. mysql 启动在容器里面,并且 可以本地连接mysql docker run --name mysql1 --env MY...

之渊
今天
7
0
python数据结构

1、字符串及其方法(案例来自Python-100-Days) def main(): str1 = 'hello, world!' # 通过len函数计算字符串的长度 print(len(str1)) # 13 # 获得字符串首字母大写的...

huijue
今天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部