文档章节

kafka_2.10-0.8.2.1集群搭建和简单使用

小哥豪
 小哥豪
发布于 2017/02/15 21:16
字数 267
阅读 101
收藏 0


1.解压kafka
 tar -zxvf kafka_2.10-0.8.2.1 -C /software

2.1在hadoop节点修改配置文件
   config/server.properties
        broker.id=0    #代理的id
        host.name=hadoop #主机名
        log.dirs=log.dirs=/usr/local/software/kafka_2.10-0.8.2.1/kfkdata  #日志存放地址
        num.partitions=2  #设置分区数据
        zookeeper.connect=hadoop:2181,hadoop1:2181,hadoop2:2181 #设置zookeeper地址

2.2将kafka_2.10-0.8.2.1解压文件复制到其他节点
scp -r /usr/local/software/kafka_2.10-0.8.2.1/ hadoop1:/usr/local/software
scp -r /usr/local/software/kafka_2.10-0.8.2.1/ hadoop2:/usr/local/software

2.3.1在hadoop1节点修改
    /usr/local/software/config/server.properties
            broker.id=1    #代理的id
            host.name=hadoop1 #主机名

2.3.2在hadoop2节点修改
    /usr/local/software/config/server.properties
            broker.id=2    #代理的id
            host.name=hadoop2 #主机名
            
            

启动kafka(在启动zookeeper基础上)
      bin/kafka-server-start.sh config/server.properties   #每个broker都要启动
后台启动
     nohup kafka-server-start.sh config/server.properties &
创建一个叫test的主题,
     bin/kafka-topics.sh --create --zookeeper hadoop:2181 --replication-factor 1 --partitions 1 --topic test
列出主题名字
     bin/kafka-topics.sh --list --zookeeper hadoop:2181
打开test主题的数据生产者
     bin/kafka-console-producer.sh --broker-list hadoop:9092 --topic test
打开test主题的主题消费者
    bin/kafka-console-consumer.sh --zookeeper hadoop:2181 --topic test --from-beginning

© 著作权归作者所有

小哥豪
粉丝 0
博文 3
码字总数 1489
作品 0
私信 提问
一脸懵逼学习KafKa集群的安装搭建--(一种高吞吐量的分布式发布订阅消息系统)

1:KafKa的官方网址:http://kafka.apache.org/ 开发流程图,如: 2:KafKa的基础知识: 2.1:kafka是一个分布式的消息缓存系统 2.2:kafka集群中的服务器都叫做broker 2.3:kafka有两类客户...

别叫小伙
2017/11/03
0
0
kafka远程部署完后启动,远程断开kafka也自动断开

求助!!! 使用kafka和zookeeper搭建集群,zookeeper已经搭建OK,kafka配置参数也已经完成,所有的过程都是远程连接服务器部署安装。部署完成后zookeeper和kafka都能够启动运行正常 ,但是当...

夜来风袭
2017/04/18
861
1
部署分布式kafka集群

一、kafka、zookeeper分布式集群简介 一句话概括kafka: kafka是一个具备很强容错能力和实时处理能力的分布式流数据平台。 Kafka的应用场景: kafka可在以下场景中应用:基于流数据的发布订阅...

清风与你
2017/07/25
0
0
Zookeeper+Hadoop+Kafka+Scala+Spark 环境搭建(未完)

Linux环境准备 (Redhat 6.3) 环境规划 IP Hostname 192.168.0.190 master 192.168.0.191 slave1 192.168.0.192 slave2 192.168.0.193 slave3 使用"桥接"网络模式,设置固定的静态IP (或 ......

翻船全靠浪
2016/05/26
30
0
apache kafka技术分享系列(目录索引)

目录索引: Kafka使用场景 1.为何使用消息系统 2.我们为何需要搭建ApacheKafka分布式系统 3.消息队列中点对点与发布订阅区别 kafka开发与管理: 1)apachekafka消息服务 2)kafak安装与使用 ...

dannyhe
2015/09/06
666
1

没有更多内容

加载失败,请刷新页面

加载更多

《Designing.Data-Intensive.Applications》笔记 四

第九章 一致性与共识 分布式系统最重要的的抽象之一是共识(consensus):让所有的节点对某件事达成一致。 最终一致性(eventual consistency)只提供较弱的保证,需要探索更高的一致性保证(stro...

丰田破产标志
今天
6
0
docker 使用mysql

1, 进入容器 比如 myslq1 里面进行操作 docker exec -it mysql1 /bin/bash 2. 退出 容器 交互: exit 3. mysql 启动在容器里面,并且 可以本地连接mysql docker run --name mysql1 --env MY...

之渊
今天
7
0
python数据结构

1、字符串及其方法(案例来自Python-100-Days) def main(): str1 = 'hello, world!' # 通过len函数计算字符串的长度 print(len(str1)) # 13 # 获得字符串首字母大写的...

huijue
今天
5
0
OSChina 周日乱弹 —— 我,小小编辑,食人族酋长

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @宇辰OSC :分享娃娃的单曲《飘洋过海来看你》: #今日歌曲推荐# 《飘洋过海来看你》- 娃娃 手机党少年们想听歌,请使劲儿戳(这里) @宇辰OSC...

小小编辑
今天
1K
11
MongoDB系列-- SpringBoot 中对 MongoDB 的 基本操作

SpringBoot 中对 MongoDB 的 基本操作 Database 库的创建 首先 在MongoDB 操作客户端 Robo 3T 中 创建数据库: 增加用户User: 创建 Collections 集合(类似mysql 中的 表): 后面我们大部分都...

TcWong
今天
40
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部