文档章节

flume kafka sink 抛出异常 Bootstrap Servers must be specified

d
 dreamness
发布于 08/07 21:09
字数 183
阅读 5
收藏 0

使用flume kafka sink时, 启动flume抛出异常

Sink kafkasink has been removed due to an error during configuration
org.apache.flume.conf.ConfigurationException: Bootstrap Servers must be specified
	at org.apache.flume.sink.kafka.KafkaSink.translateOldProps(KafkaSink.java:371)
	at org.apache.flume.sink.kafka.KafkaSink.configure(KafkaSink.java:307)
	at org.apache.flume.conf.Configurables.configure(Configurables.java:41)

flume kafka sink相关如下:

a1.sinks.kafkasink.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.kafkasink.topic = logalerttopic
a1.sinks.kafkasink.bootstrap.servers = c1:9092, c2:9092, c3:9092
a1.sinks.kafkasink.flumeBatchSize = 20
a1.sinks.kafkasink.producer.acks = 1
a1.sinks.kafkasink.producer.compression.type = snappy
#a1.sinks.kafkasink.type = logger

经仔细对比官方文档发现, kafka sink相关配置项中, 有几项配置带有kafka.的内容, 在配置中被我忽略了。
更正如下:

a1.sinks.kafkasink.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.kafkasink.kafka.topic = logalerttopic
a1.sinks.kafkasink.kafka.bootstrap.servers = c1:9092, c2:9092, c3:9092
a1.sinks.kafkasink.flumeBatchSize = 20
a1.sinks.kafkasink.kafka.producer.acks = 1
a1.sinks.kafkasink.kafka.producer.compression.type = snappy

© 著作权归作者所有

d

dreamness

粉丝 2
博文 48
码字总数 17330
作品 0
沈阳
私信 提问
Flume - Kafka日志平台整合

1. Flume介绍 Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行...

mantoudev
2018/03/21
0
0
Apache Flume 1.7.0 发布,日志服务器

Apache Flume 1.7.0 发布了,Flume 是一个分布式、可靠和高可用的服务,用于收集、聚合以及移动大量日志数据,使用一个简单灵活的架构,就流数据模型。这是一个可靠、容错的服务。 本次更新如...

局长
2016/10/19
2.1K
3
flume1.8taildirSource

flume使用(一):入门demo flume使用(二):采集远程日志数据到MySql数据库 flume使用(三):实时log4j日志通过flume输出到MySql数据库 flume使用(四):taildirSource多文件监控实时采集...

hblt-j
2018/11/19
169
0
【Flume】- 收集 Log4j 日志上送Kafka

Flume 收集 Log4j 日志上送Kafka存储 --- 环境准备 下载Flume: http://flume.apache.org/ 安装: 解压下载包到自定义路径 配置agent 解释: sources: avro 用于接收Log4j日志 interceptors: ...

ZeroneLove
04/10
34
0
Apache Flume 1.9.0 发布,日志服务器

Apache Flume 1.9.0 发布了,Flume 是一个分布式、可靠和高可用的服务,用于收集、聚合以及移动大量日志数据,使用一个简单灵活的架构,就流数据模型。这是一个可靠、容错的服务。 本次更新如...

程六金
01/10
1K
4

没有更多内容

加载失败,请刷新页面

加载更多

你知道多少this,new,bind,call,apply?那我告诉你

那么什么是this,new,bind,call,apply呢?这些你都用过吗?掌握这些内容都是基础中的基础了。如果你不了解,那还不赶快去复习复习,上网查阅资料啥的! 通过call,apply,bind可以改变thi...

达达前端小酒馆
今天
6
0
设计模式之命令模式

命令模式的类图 其中的角色有: Client 客户端。只依赖于调用者Invoker、接收者Receiver、以及Command(网上找的图片这里没有画出来),不用关注接收者如何执行命令,只需要告诉调用者需要执行...

陈年之后是青葱
今天
8
0
2. 彤哥说netty系列之IO的五种模型

你好,我是彤哥,本篇是netty系列的第二篇。 欢迎来我的公从号彤哥读源码系统地学习源码&架构的知识。 简介 本文将介绍linux中的五种IO模型,同时也会介绍阻塞/非阻塞与同步/异步的区别。 何...

彤哥读源码
今天
6
0
OSChina 周四乱弹 —— 喵的波粒二象性

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @ 小小编辑推荐:《水墨兰亭》- 李志辉 《水墨兰亭》- 李志辉 手机党少年们想听歌,请使劲儿戳(这里) @巴拉迪维 :卧室里采光要足够好,这样...

小小编辑
今天
46
2
前后端分离接口规范

最近在开发,遇到前后端关于Boolean类型的参数传参和接收的问题: 场景:后台会根据用户是否出车/是否出司机(Boolean类型)来决定后端的业务逻辑(比如费用的计算),前端使用JSON字符串类型...

code-ortaerc
昨天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部