文档章节

【kakfa配置参数-Producer详解】

闪电
 闪电
发布于 2016/07/01 00:47
字数 452
阅读 18
收藏 0

serializer.class

默认值: kafka.serializer.DefaultEncoder

必须实现kafka.serializer.Encoder接口,将T类型的对象encode成kafka message

 

 

key.serializer.class

默认值:serializer.class

key对象的serializer类

 

 

partitioner.class

默认值:kafka.producer.DefaultPartitioner

必须实现kafka.producer.Partitioner,根据Key提供一个分区策略

 

 

producer.type

默认值:sync

指定消息发送是同步还是异步。异步asyc成批发送用kafka.producer.AyncProducer, 同步sync用kafka.producer.SyncProducer

 

 

metadata.broker.list

默认值:boker list

使用这个参数传入boker和分区的静态信息,如host1:port1,host2:port2, 这个可以是全部boker的一部分

 

 

compression.codec

默认值:NoCompressionCodec

消息压缩,默认不压缩

 

 

compressed.topics

默认值:null

在设置了压缩的情况下,可以指定特定的topic压缩,为指定则全部压缩

 

 

message.send.max.retries

默认值:3

消息发送最大尝试次数

 

retry.backoff.ms

默认值:300

每次尝试增加的额外的间隔时间

 

topic.metadata.refresh.interval.ms

默认值:600000

定期的获取元数据的时间。当分区丢失,leader不可用时producer也会主动获取元数据,如果为0,则每次发送完消息就获取元数据,不推荐。如果为负值,则只有在失败的情况下获取元数据。

 

queue.buffering.max.ms

默认值:5000

在producer queue的缓存的数据最大时间,仅仅for asyc

 

queue.buffering.max.message

默认值:10000

producer 缓存的消息的最大数量,仅仅for asyc

 

 

queue.enqueue.timeout.ms

默认值:-1

0当queue满时丢掉,负值是queue满时block,正值是queue满时block相应的时间,仅仅for asyc

 

batch.num.messages

默认值:200

一批消息的数量,仅仅for asyc

 

request.required.acks

默认值:0

0表示producer毋须等待leader的确认,1代表需要leader确认写入它的本地log并立即确认,-1代表所有的备份都完成后确认。 仅仅for sync

 

request.timeout.ms

默认值:10000

确认超时时间

 

本文转载自:http://gaojingsong.iteye.com/blog/2304317

闪电
粉丝 75
博文 392
码字总数 6789
作品 0
海淀
技术主管
私信 提问
Flume+Kafka+SparkStreaming 最新最全整合

1.架构 第一步,Flume和Kakfa对接,Flume抓取日志,写到Kafka中 第二部,Spark Streaming读取Kafka中的数据,进行实时分析 本文首先使用Kakfa自带的消息处理(脚本)来获取消息,走通Flume和...

ericSM
2016/06/16
2.8K
0
kafka-Producer配置参数

  前言   kakfa提供了Producer(生产者)的配置参数。      一些重要参数   1、serializer.class   默认值:kafka.serializer.DefaultEncoder,必须实现kafka.serializer.Encode...

linux运维菜
2018/05/15
0
0
kafka报org.apache.kafka.common.errors.RecordTooLargeException

kakfa报错如下: 原因是发送的消息过大,大于默认配置。其源码如下: ProducerConfig.java 可以看到默认是1M,只需要在配置kafka连接时,加入配置max.request.size即可,如下: 但是需要注意...

尚浩宇
2018/02/08
1K
0
Apache Kafka:分布式集群搭建(0.8.2.2V)

Kafka 和 Spack 都是使用 Scala语言编写的,使用 Kafka + Spack ,在搭建 Kafka集群,下载0.8V的Kafka时,就需要特别注意的是: 根据Spack目前所支持的Scala版本,去下载对应Scaka版本编写的...

翻船全靠浪
2015/10/27
56
0
kafka参数配置详解

broker config 属性 默认值 描述 broker.id 必填参数,broker的唯一标识 log.dirs /tmp/kafka-logs Kafka数据存放的目录。可以指定多个目录,中间用逗号分隔,当新partition被创建的时会被存...

张欢19933
2016/01/28
2.3K
0

没有更多内容

加载失败,请刷新页面

加载更多

代理模式之JDK动态代理 — “JDK Dynamic Proxy“

动态代理的原理是什么? 所谓的动态代理,他是一个代理机制,代理机制可以看作是对调用目标的一个包装,这样我们对目标代码的调用不是直接发生的,而是通过代理完成,通过代理可以有效的让调...

code-ortaerc
今天
4
0
学习记录(day05-标签操作、属性绑定、语句控制、数据绑定、事件绑定、案例用户登录)

[TOC] 1.1.1标签操作v-text&v-html v-text:会把data中绑定的数据值原样输出。 v-html:会把data中值输出,且会自动解析html代码 <!--可以将指定的内容显示到标签体中--><标签 v-text=""></......

庭前云落
今天
7
0
VMware vSphere的两种RDM磁盘

在VMware vSphere vCenter中创建虚拟机时,可以添加一种叫RDM的磁盘。 RDM - Raw Device Mapping,原始设备映射,那么,RDM磁盘是不是就可以称作为“原始设备映射磁盘”呢?这也是一种可以热...

大别阿郎
今天
10
0
【AngularJS学习笔记】02 小杂烩及学习总结

本文转载于:专业的前端网站☞【AngularJS学习笔记】02 小杂烩及学习总结 表格示例 <div ng-app="myApp" ng-controller="customersCtrl"> <table> <tr ng-repeat="x in names | orderBy ......

前端老手
昨天
14
0
Linux 内核的五大创新

在科技行业,创新这个词几乎和革命一样到处泛滥,所以很难将那些夸张的东西与真正令人振奋的东西区分开来。Linux内核被称为创新,但它又被称为现代计算中最大的奇迹,一个微观世界中的庞然大...

阮鹏
昨天
18
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部