文档章节

KAFKA官方教程笔记-Quickstart

skanda
 skanda
发布于 2017/09/05 16:50
字数 776
阅读 138
收藏 2

#程序员薪资揭榜#你做程序员几年了?月薪多少?发量还在么?>>>

 

1,kafka依赖于zookeeper,下载:

kafka2.10-0.10.00包下载zookeeper3.4.10下载

2,配置启动ZOOKEEPER

    配置项:ZOOKEEPER_HOME,和PATH;参考:

export ZOOKEEPER_HOME=/home/t/source/zookeeper-3.4.10
export JAVA_HOME=/home/t/source/jdk1.8.0_121
export PATH=/home/t/source/jdk1.8.0_121/bin:/home/t/source/scala/scala-2.10.6/bin:/home/t/source/spark/spark-1.6.2-bin-hadoop2.6/bin:$PATH:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf:/home/t/source/sbt/sbt/bin:/home/t/source/hadoop-2.6.4/bin
export HADOOP_HOME=/home/t/source/hadoop-2.6.4
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export YARN_HOME=/home/t/source/hadoop-2.6.4
export YARN_CONF_DIR=${YARN_HOME}/etc/hadoop

修改zookeeper-3.4.10/conf下,zoo.conf文件:

设置项:

dataDir=/home/t/source/zookeeper-3.4.10/dataDir
dataLogDir=/home/t/source/zookeeper-3.4.10/dataLogDir

zookeeper启动:

./zkServer.sh start

3,配置启动kafka

修改kafka配置项:

kafka外网访问 advertised.listeners=PLAINTEXT://x.x.x.x:9092

启动kafka

./kafka-server-start.sh  ../config/server.properties

创建topic(消息类型)

./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

生产消息:

./kafka-console-producer.sh  --broker-list localhost:9092 --topic test

消费消息:topic数据总量

./kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning  

描述主题:

bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic myTest4

最终效果:

生产端输入什么,消费端输出什么。

4,创建多broker集群

复制多个server.properties,修改broker.id,因为笔者在单机部署,需要再修改listerners.port,log.dir 

复制server.properties,启动多个broker

bin/kafka-server-start.sh config/server-1.properties
bin/kafka-server-start.sh config/server-2.properties

创建一个bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic myTest2

不写入数据,发现仅在broker=0的log。dir下生成目录

随机写入一些数据,

因为已经有三个broker了, 可以创建replication-factor <=3的topic

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic myTest3 

如果超过3,会抛如下错误

t@ubuntu:~/source/kafka_2.10-0.10.0.0$ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 5 --partitions 1 --topic myTest2
Error while executing topic command : replication factor: 5 larger than available brokers: 3
[2017-09-05 17:24:55,153] ERROR kafka.admin.AdminOperationException: replication factor: 5 larger than available brokers: 3
        at kafka.admin.AdminUtils$.assignReplicasToBrokers(AdminUtils.scala:117)
        at kafka.admin.AdminUtils$.createTopic(AdminUtils.scala:403)
        at kafka.admin.TopicCommand$.createTopic(TopicCommand.scala:110)
        at kafka.admin.TopicCommand$.main(TopicCommand.scala:61)
        at kafka.admin.TopicCommand.main(TopicCommand.scala)
 (kafka.admin.TopicCommand$)
t@ubuntu:~/source/kafka_2.10-0.10.0.0$ 

查看三个broker的log.dir目录,均多出myTest3-0/目录

使用describe topics命令

t@ubuntu:~/source/kafka_2.10-0.10.0.0$ 
t@ubuntu:~/source/kafka_2.10-0.10.0.0$  bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic myTest3
Topic:myTest3   PartitionCount:1        ReplicationFactor:3     Configs:
        Topic: myTest3  Partition: 0    Leader: 2       Replicas: 2,0,1 Isr: 2,0,1
t@ubuntu:~/source/kafka_2.10-0.10.0.0$ 

因为 replication-factor和partion关系有点乱,所以再试试这个

t@ubuntu:~/source/kafka_2.10-0.10.0.0$ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 5 --topic myTest4

结果是三个broker的log.dir目录都出现了

  • "leader":该节点负责所有指定分区的读和写,每个节点的领导都是随机选择的。因为最先启动的是leader2节点,所以leader都变成2。
  • "replicas":备份的节点,无论该节点是否是leader或者目前是否还活着,只是显示。如果不启动broker0,broker1,依旧显示。
  • "isr":备份节点的集合,也就是活着的节点集合。如上图,不启动broker0,broker1,isr只有2.

5,kafka 在bin目录下提供了connect-standalone.sh来自动导入导出数据

bin/connect-standalone.sh config/connect-standalone.properties config/connect-file-source.properties config/connect-file-sink.properties

connect-file-source.properties配置导入数据连接类以及对应的topic

name=local-file-source
connector.class=FileStreamSource
tasks.max=1
file=test.txt
topic=connect-test

  connect-file-sink.properties配置对应的导出数据连接类以及对应的topic

name=local-file-sink
connector.class=FileStreamSink
tasks.max=1
file=test.sink.txt
topics=connect-test

 

© 著作权归作者所有

skanda
粉丝 11
博文 107
码字总数 60585
作品 0
厦门
私信 提问
加载中

评论(0)

Kafka学习笔记之confluent platform入门

0x00 下载 http://www.confluent.io/download,打开后,显示最新版本3.0.0,然后在右边填写信息后,点击Download下载。 之后跳转到下载页面,选择zip 或者 tar都行, 下载完成后上传linux系统...

osc_127lqd1g
2019/03/18
1
0
Kafka(二):Kafka安装与使用

一、安装Kafka 官方快速安装文档:http://kafka.apache.org/quickstart 安装kafka 启动zookeeper服务 启动kafka服务 二、Kafka操作 1. 创建Topic 创建一个名叫kafka_test, 一个复制因子一个...

saytime
2018/04/15
0
0
windows 环境使用 kafka

近来学习 kafka,网上搜的教程好多不好用。在此开一贴记录一下学习过程。推荐官网,是最好的教程 http://kafka.apache.org/quickstart 官网上是linux 环境,我用的是windows 环境。已经安装过...

osc_mgiclpzt
2018/10/21
2
0
简单搭建 Apache Kafka 分布式消息系统

早先都是用的基于 JMS 规范的消息系统, 像 ActiveMQ, IBM MQSeries 等. 随着互联网的发展, 大约是要适应当今大数据, 高可用性, 高效的需求, 于是诞生了 Apache Kafka 这一新时代的分布式消息...

YanbinQ
2016/10/18
53
0
alibaba canal安装笔记

canal是alibaba开源的基于mysql binlog解析工具,可利用它实现mysql增量订阅/消费,典型的应用场景如下图: 利用canal,可以将mysql的数据变化,通过解析binlog,投递到kafka(或rocket mq),...

菩提树下的杨过
2019/05/26
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Elasticsearch利用快照数据迁移和灾备

面对多集群的企业级复杂架构,准备一套备份集群显得非常重要,备份集群在平时不参与读写操作,但是始终包含业务集群的所有数据,在有业务集群不能使用的时候,可以直接通过切换Elasticsearch...

osc_6jhxf9ab
22分钟前
23
0
Nginx反向代理报504超时错误

nginx+tomcat 后端为tomcat,nginx代理报504超时错误。 问题描述: #错误1.198.17.123 - - [06/Jul/2018:01:48:57 +0000] "POST /mapbj3/getticket HTTP/1.1" 504 537 "https://XX......

osc_3jy89xtf
24分钟前
13
0
如何有效地配对袜子? - How to pair socks from a pile efficiently?

问题: Yesterday I was pairing the socks from the clean laundry and figured out the way I was doing it is not very efficient. 昨天我把干净的洗衣店的袜子配对,弄清楚我做的方式效率......

javail
24分钟前
22
0
最新干货pandownload复活教程

教程 1、首先下载解压软件压缩包,先不要运行软件,我们先修改hosts文件,打开我的电脑,在文件地址栏中输入 C:\Windows\System32\drivers\etc 然后回车,找到hosts文件; 2、找到有,右键h...

osc_mi0kl8ls
25分钟前
21
0
poj 1816 trie树+dfs(强烈推荐,含有通配符的匹配)

// https://www.cnblogs.com/buptLizer/archive/2011/09/18/2180723.html #include <iostream> #include <algorithm> #include <stdio.h> #include <cstring> using namespace std; const in......

osc_5h2xxt0l
26分钟前
17
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部