文档章节

Kafka安装和消息操作

仝玉甫
 仝玉甫
发布于 2017/07/24 17:17
字数 376
阅读 10
收藏 1
点赞 0
评论 0

下载

下载地址:http://kafka.apache.org/downloads

当前最新版本为0.11.0.0,建议下载 kafka_2.11-0.11.0.0.tgz

解压

tar -xzf kafka_2.11-0.11.0.0.tgz
cd kafka_2.11-0.11.0.0

启动服务

Kafka使用ZooKeeper,首先需要启动Zookeeper,Kafka内置了Zookeeper,可以用命令启动一个单节点Zookper:

bin/zookeeper-server-start.sh config/zookeeper.properties

Zookeeper默认端口为2181,可在zookeeper.properties中修改。

开启一个新的终端,启动Kafka:

bin/kafka-server-start.sh config/server.properties

创建Topic

创建一个单分片,单复制,名为test的topic

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

查看当前topic列表

bin/kafka-topics.sh --list --zookeeper localhost:2181

相对于手动创建topic,也可以设置当发送信息到不存在的topic时,自动创建topic。

查看topic明细:

bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

删除topic:

bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test

永久删除topic:
删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topic目录 
删除zookeeper "/brokers/topics/"目录下相关topic节点
cd /usr/lib/zookeeper,或 cd <zookeeper安装目录>
bin/zkCli.sh -server 127.0.0.1
ls /brokers/topics/test
rmr /brokers/topics/test
rmr /admin/delete_topics/test

发送消息

开启一个新的终端,启动一个消息生产者:

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

发送消息:

This is a message
This is another message

接收消息

开启一个新的终端,启动一个消费者:

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

可以看到接收到的消息。

停止Kafka服务

bin/kafka-server-stop.sh
bin/zookeeper-server-stop.sh

 

© 著作权归作者所有

共有 人打赏支持
仝玉甫
粉丝 6
博文 15
码字总数 11114
作品 0
浦东
程序员
架构设计:系统间通信(28)——Kafka及场景应用(中1)

(接上文《架构设计:系统间通信(27)——其他消息中间件及场景应用(上)》) 在本月初的写作计划中,我本来只打算粗略介绍一下Kafka(同样是因为进度原因)。但是,最近有很多朋友要求我详...

yinwenjie
2016/05/02
0
0
Kafka(二):Kafka安装与使用

一、安装Kafka 官方快速安装文档:http://kafka.apache.org/quickstart 安装kafka 启动zookeeper服务 启动kafka服务 二、Kafka操作 1. 创建Topic 创建一个名叫kafka_test, 一个复制因子一个...

saytime
04/15
0
0
Spring Boot集成Kafka

Spring Boot集成Kafka Spring Boot集成Kafka 前提介绍 Kafka Kafka安装与使用 Spring Boot集成 总结 参考资料 前提介绍 由于公司使用了微服务架构,很多业务拆成了很多小模块。 有个场景是这...

流水不腐小夏
2017/11/26
0
0
【Kafka源码】Kafka代码模块

Kafka源码依赖于Scala环境,首先需要安装scala,这块请自行百度进行安装。 传送门 当然,我们要分析源码,需要下载源码,请自行从github上面下载。 说明:本文使用的kafka版本为0.10.0.1,这...

端木轩
2017/10/23
0
0
Kafka安装与简介

今天来讲一下Kafka,它是一个消息队列,应用场景比较广泛。刚开始学习一门东西,咱们先不管它是干什么的,先跑起来才是正经,所以本文主要讲两点: 安装搭建Kafka 简单介绍下Kafka的原理和应...

Trigl
2017/05/23
0
0
CentOs7 Kafka单机消息的发布-订阅

这段时间一直在学习大数据相关的知识,从Spark,Spark Streaming,Scala到Kafka等等,涉及到的知识面很多,总体看下来,觉得大数据还是很好玩的,在现在及以后的方方面面都很适用。下面说下K...

海岸线的曙光
03/02
0
0
一脸懵逼学习KafKa集群的安装搭建--(一种高吞吐量的分布式发布订阅消息系统)

1:KafKa的官方网址:http://kafka.apache.org/ 开发流程图,如: 2:KafKa的基础知识: 2.1:kafka是一个分布式的消息缓存系统 2.2:kafka集群中的服务器都叫做broker 2.3:kafka有两类客户...

别叫小伙
2017/11/03
0
0
单台服务器部署 Zookeeper 伪集群服务及 kafka 消息中间件服务

在开发环境中,为减少服务器成本和提高开发效率,通常在一台测试服务器部署各种服务,使用不同的本地 IP 和不同端口号将涉及到集群的服务往往跑在一台机器上模拟集群,在这里我们称做伪集群。...

hww_面条酱
01/10
0
0
喵了个咪/See-KafKa

#See-KafKa 简单舒适的PHP-KafKa拓展 ##前言 (Simple 简单 easy 容易 expand 的拓展) KafKa是由Apache基金会维护的一个分布式订阅分发系统,KafKa它最初的目的是为了解决,统一,高效低延时,高通...

喵了个咪
2016/09/27
0
0
apache kafka技术分享系列(目录索引)

目录索引: Kafka使用场景 1.为何使用消息系统 2.我们为何需要搭建ApacheKafka分布式系统 3.消息队列中点对点与发布订阅区别 kafka开发与管理: 1)apachekafka消息服务 2)kafak安装与使用 ...

dannyhe
2015/09/06
453
1

没有更多内容

加载失败,请刷新页面

加载更多

下一页

about git flow

  昨天元芳做了git分支管理规范的分享,为了拓展大家关于git分支的认知,这里我特意再分享这两个关于git flow的链接,大家可以看一下。 Git 工作流程 Git分支管理策略   git flow本质上是...

qwfys
今天
2
0
Linux系统日志文件

/var/log/messages linux系统总日志 /etc/logrotate.conf 日志切割配置文件 参考https://my.oschina.net/u/2000675/blog/908189 dmesg命令 dmesg’命令显示linux内核的环形缓冲区信息,我们可...

chencheng-linux
今天
1
0
MacOS下给树莓派安装Raspbian系统

下载镜像 前往 树莓派官网 下载镜像。 点击 最新版Raspbian 下载最新版镜像。 下载后请,通过 访达 双击解压,或通过 unzip 命令解压。 检查下载的文件 ls -lh -rw-r--r-- 1 dingdayu s...

dingdayu
今天
1
0
spring boot使用通用mapper(tk.mapper) ,id自增和回显等问题

最近项目使用到tk.mapper设置id自增,数据库是mysql。在使用通用mapper主键生成过程中有一些问题,在总结一下。 1、UUID生成方式-字符串主键 在主键上增加注解 @Id @GeneratedValue...

北岩
今天
2
0
告警系统邮件引擎、运行告警系统

告警系统邮件引擎 cd mail vim mail.py #!/usr/bin/env python#-*- coding: UTF-8 -*-import os,sysreload(sys)sys.setdefaultencoding('utf8')import getoptimport smtplibfr......

Zhouliang6
今天
1
0
Java工具类—随机数

Java中常用的生成随机数有Math.random()方法及java.util.Random类.但他们生成的随机数都是伪随机的. Math.radom()方法 在jdk1.8的Math类中可以看到,Math.random()方法实际上就是调用Random类...

PrivateO2
今天
2
0
关于java内存模型、并发编程的好文

Java并发编程:volatile关键字解析    volatile这个关键字可能很多朋友都听说过,或许也都用过。在Java 5之前,它是一个备受争议的关键字,因为在程序中使用它往往会导致出人意料的结果。在...

DannyCoder
昨天
1
0
dubbo @Reference retries 重试次数 一个坑

在代码一中设置 成retries=0,也就是调用超时不用重试,结果DEBUG的时候总是重试,不是0吗,0就不用重试啊。为什么还是调用了多次呢? 结果在网上看到 这篇文章才明白 https://www.cnblogs....

奋斗的小牛
昨天
2
0
数据结构与算法3

要抓紧喽~~~~~~~放羊的孩纸回来喽 LowArray类和LowArrayApp类 程序将一个普通的Java数组封装在LowArray类中。类中的数组隐藏了起来,它是私有的,所以只有类自己的方法才能访问他。 LowArray...

沉迷于编程的小菜菜
昨天
1
0
spring boot应用测试框架介绍

一、spring boot应用测试存在的问题 官方提供的测试框架spring-boot-test-starter,虽然提供了很多功能(junit、spring test、assertj、hamcrest、mockito、jsonassert、jsonpath),但是在数...

yangjianzhou
昨天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部