文档章节

kafka环境搭建

王文龙
 王文龙
发布于 2016/11/17 15:10
字数 279
阅读 584
收藏 33

1.下载kafka压缩包kafka_2.9.1-0.8.2.1.tgz 用tar -zxvf 命令解压到创建kafka的目录下面

2.创建kafkalog配置文件kafkaLog

3.修改kafka配置文件 server.properties

   主要说明下需要修改的基本参数,其他可以参照apache kafka官方文档

   我自己是三台虚拟服务器:

   broker.id=0 从0开始 每一台及其取名不一样,你可以设置为0,1,2····

   host.name=ip 这个注解需要放开并将后面的localhost替换成你的ip地址

   log.dirs=/home/test/kafka/kafkaLogs 这个指向刚才创建的日志目录

   num.partitions=2 默认是1,你也可以不修改

   message.max.byte=573741824设置信息最大体谅为5M(后加)
   default.replication.factor=2
   replica.fetch.max.bytes=573741824

   zookeeper.connect=IP:12181,IP:12181 设置的zookeeper集群及其的IP以及端口

4.启动与测试kafka服务

  创建一个kafka的topic命令 ./kafka-topics.sh --create --zookeeper Ip:12181 --replication-factor 1 --partitions 2 --topic test

  查看kakfa中topic列表./kafka-topics.sh --list --zookeeper IP:12181

  

  启动生产者./kafka-console-producer.sh --broker-list IP:9092 --topic test

  启动消费端./kafka-console-consumer.sh --zookeeper 121.40.194.104:12181 --topic talk --from-beginning

   以上基本是kafka的部署内容。

 

© 著作权归作者所有

上一篇: zookeeper简介
下一篇: Zookeeper集群搭建
王文龙
粉丝 3
博文 6
码字总数 1315
作品 0
南京
私信 提问
加载中

评论(1)

YanbinQ
YanbinQ
版本相差太远, 确定还在用这个版本的 Kafka 吗?
2.1、Linux下Kafka环境搭建及基本使用

一、kafka单节点单broker环境搭建 系统环境:centos 64位 mini 虚拟机:Virtual Box 如果你不熟悉virtual box的使用,不知道如何安装centos系统,可以参考之前发布的文章: 快速掌握基于Vir...

极客慧
2018/11/26
0
0
大数据storm应该怎么学?

帮助大家在业务上面快速使用Storm,相信学完之后可以直接面对生成环境的问题,解决问题,优化结构。项目使用Storm0.9.1+Kafka0.8.1.1+Zookeeper锁+Memcached+mysql架构,从集群搭建到集群连通...

让往事随风
2016/04/19
50
0
zookeeper+kafka集群搭建

基本环境: 操作系统 : ubuntu-16.04.2 jdk : jdk1.8.0144 zookeeper : zookeeper3.4.6 kafka : kafka2.12-0.11.0.0 搭建过程中,用三台虚拟机来实现环境的配置,3台虚拟机的ip如下: 19...

王福林
2018/09/13
0
0
集群四部曲(四):完美的Kafka集群搭建

之前写过一篇关于Kafka消息的发布-订阅,只不过是基于一台服务器,不够全面,下面我要说下Kafka集群环境的搭建和消息的发布-订阅,希望大家喜欢。下面的集群搭建是基于单机部署的环境,所以大...

海岸线的曙光
2018/03/20
0
0
Kafka开发环境搭建(五)

如果你要利用代码来跑kafka的应用,那你最好先把官网给出的example先在单机环境和分布式环境下跑通,然后再逐步将原有的consumer、producer和broker替换成自己写的代码。所以在阅读这篇文章前...

老先生二号
2017/05/29
0
0

没有更多内容

加载失败,请刷新页面

加载更多

容器中的JVM资源该如何被安全的限制?

前言 Java与Docker的结合,虽然更好的解决了application的封装问题。但也存在着不兼容,比如Java并不能自动的发现Docker设置的内存限制,CPU限制。 这将导致JVM不能稳定服务业务!容器会杀死你...

xiaomin0322
22分钟前
3
0
mysql查询最近连续登录和累计登录

这条sql写了一天,百度无数,终于摸到点门路 需求是查询从当前日期向前推的连续登录,比如一个用户他今天登录了,昨天没登,连续登录为1 他昨天前天都登录了,今天没登录,连续登录为0 SELEC...

七月大人
24分钟前
1
0
常用的一些Vip解析

无广告解析推荐(排行不分前后) 黑米免费解析   https://www.myxin.top/jx/api/?url= 随缘免费解析   http://www.syhbyl.tw/jx/api/?url= 快快免费解析   http://jx.kkqtv.com/jx/...

chenhongjiang
24分钟前
2
0
Netty 整合spring bean注入失败。

1.Netty整合spring bean注入为null的问题,自己折腾了好久,试过各种方式(@Component,@PostConstruct)这些都不行。 2.最后发现了关键的问题就是添加的回调类(处理类)/初始化的类也必须由s...

轻量级赤影
28分钟前
7
0
消息中间件

本文大概围绕如下几点进行阐述: 为什么使用消息队列? 使用消息队列有什么缺点? 消息队列如何选型? 如何保证消息队列是高可用的? 如何保证消息不被重复消费? 如何保证消费的可靠性传输? 如何...

石日天
31分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部