文档章节

kafka/zookeeper学习记录

skanda
 skanda
发布于 2017/07/20 20:30
字数 488
阅读 21
收藏 1

 

1,kafka依赖于zookeeper,下载:

kafka2.10-0.10.00包下载zookeeper3.4.10下载

2,配置启动ZOOKEEPER

    配置项:ZOOKEEPER_HOME,和PATH;参考:

修改zookeeper-3.4.10/conf下,zoo.conf文件:

设置项:

dataDir=/home/t/source/zookeeper-3.4.10/dataDir
dataLogDir=/home/t/source/zookeeper-3.4.10/dataLogDir

zookeeper启动:

./zkServer.sh start

3,配置启动kafka

修改kafka配置项:

启动kafka

./kafka-server-start.sh  ../config/server.properties

创建topic(消息类型)

./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

生产消息:

./kafka-console-producer.sh  --broker-list localhost:9092 --topic test

消费消息:

./kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning  

最终效果:

生产端输入什么,消费端输出什么。

partition

分区,对于一个topic,3个分区,则同一组消费者数量应当<=3,否则有消费者接受不到数据;

http://www.cnblogs.com/liuwei6/p/6900686.html

Topic在逻辑上可以被认为是一个queue,每条消费都必须指定它的Topic,可以简单理解为必须指明把这条消息放进哪个queue里。为了使得Kafka的吞吐率可以线性提高,物理上把Topic分成一个或多个Partition,每个Partition在物理上对应一个文件夹,该文件夹下存储这个Partition的所有消息和索引文件。

kafka外网访问 advertised.listeners=PLAINTEXT://x.x.x.x:9092

kafka读写

import org.apache.kafka.clients.consumer.ConsumerRecord;  
import org.apache.kafka.clients.consumer.ConsumerRecords;  
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.TopicPartition;

import java.util.Arrays;
import java.util.Date;
import java.util.Properties;

import javax.print.attribute.standard.PrinterLocation;  
  
public class KafkaConsumerExample {  
    public static void main(String[] args) throws InterruptedException {  
        Properties props = new Properties();  
        props.put("bootstrap.servers", "192.168.1.166:9092");  
        props.put("group.id", "test13");  
        props.put("enable.auto.commit", "true");  
        props.put("auto.commit.interval.ms", "1000");  
        props.put("session.timeout.ms", "30000");  
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");  
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");  
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");  
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");  
        props.put("auto.offset.reset", "earliest");        
        props.put(ProducerConfig.BATCH_SIZE_CONFIG, 1024*1024*5);  
        //往kafka服务器提交消息间隔时间,0则立即提交不等待  
        props.put(ProducerConfig.LINGER_MS_CONFIG,0);  
        
        
        //Kafka Reader
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);  
        consumer.subscribe(Arrays.asList("test"));  
        consumer.seek(new TopicPartition("test", 1), 1);
        while (true) {  
            ConsumerRecords<String, String> records = consumer.poll(2000);
            System.out.println("-------------"+new Date());
            for (ConsumerRecord<String, String> record : records)  
                System.out.printf("offset = %d, key = %s, value = %s\n", record.offset(), record.key(), record.value());  
        }
        
        /*
        //KafkaWriter
        KafkaProducer<String, String> productor = new KafkaProducer<>(props);
        productor.send(new ProducerRecord<String, String>("test", "aaa", "xiaoxiaoxiao2018"));
        */
    }  
}  

名词解释:

bootstrap.servers:Kafka集群连接串,可以由多个host:port组成【your.host.name:9092】

 

© 著作权归作者所有

共有 人打赏支持
skanda
粉丝 11
博文 93
码字总数 52962
作品 0
厦门
私信 提问
Kafka学习之四 Kafka常用命令

Kafka学习之四 Kafka常用命令 Kafka常用命令 以下是kafka常用命令行总结: 1.查看topic的详细信息 ./kafka-topics.sh -zookeeper 127.0.0.1:2181 -describe -topic testKJ1 2、为topic增加副...

舒文joven
07/19
0
0
CentOs7 Kafka单机消息的发布-订阅

这段时间一直在学习大数据相关的知识,从Spark,Spark Streaming,Scala到Kafka等等,涉及到的知识面很多,总体看下来,觉得大数据还是很好玩的,在现在及以后的方方面面都很适用。下面说下K...

海岸线的曙光
03/02
0
0
docker容器中搭建kafka集群环境

Kafka集群管理、状态保存是通过zookeeper实现,所以先要搭建zookeeper集群 zookeeper集群搭建 一、软件环境: zookeeper集群需要超过半数的的node存活才能对外服务,所以服务器的数量应该是2...

qq_41587243
05/25
0
0
kafka学习(三)----centos7中搭建kafka

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u010775025/article/details/82147426 前提,kafka和zookeeper依赖jdk,需要提前安装jdk 一、安装Zookeeper 1...

心诚则灵--艾
08/28
0
0
Kubernetes搭建Zookeeper和Kafka集群

主要参考了https://www.cnblogs.com/00986014w/p/9561901.html 这篇博文,但他zookeeper使用的不是官方镜像 我使用的是3个节点的Zookeeper集群,可以参照着修改。 搭建Zookeeper集群 集群Ser...

Jian_Ming
11/06
0
0

没有更多内容

加载失败,请刷新页面

加载更多

网站老被劫持快照跳转怎么办

最近很多公司的网站被劫持跳转到了bo彩、cai票网站上去,客户从百度点击进去会跳转,直接输入网站的域名不会跳转,网站快照也被劫持成bo彩的内容,site查看网站在百度的收录也出现问题,收录...

网站安全
7分钟前
0
0
给自己灌鸡汤

前言 看极客时间的《数据结构与算法之美》,中间有一篇文章是在说怎么坚持学习的,摘抄一些片段过来,激励自己。 https://time.geekbang.org/column/article/69607 致使你掉队的原因 一个人在...

grace_233
9分钟前
0
0
如何在网络视听行业建一扇内容安全大门?

在人工智能飞速发展的三年里,整个网络视听产业数字化发展速度非常迅猛。大数据作为如今这个时代的产物,正不断推动整个产业的发展。网络视听行业中存在海量的数据,比如视频内容、视频浏览量...

阿里云官方博客
19分钟前
0
0
云安全简史

课程介绍: DT时代我们每个人的生活在不知不觉中与云计算发生了千丝万缕的联系,起床、吃饭、出行、社交、工作、娱乐、购物等大多数应用都在云上,然而安全事件频发时刻在为我们敲响警钟,面对...

mcy0425
20分钟前
1
0
数字IT基础-数据采集总线

摘要: 日志服务是阿里自产自用的产品,在双十一、双十二和新春红包期间承载阿里云/蚂蚁全站、阿里电商板块、云上几千商家数据链路,每日处理来自百万节点几十PB数据,峰值流量达到每秒百GB,...

阿里云云栖社区
24分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部