kafka_2.10-0.8.2.1集群搭建和简单使用

原创
2017/02/15 21:16
阅读数 1.2K


1.解压kafka
 tar -zxvf kafka_2.10-0.8.2.1 -C /software

2.1在hadoop节点修改配置文件
   config/server.properties
        broker.id=0    #代理的id
        host.name=hadoop #主机名
        log.dirs=log.dirs=/usr/local/software/kafka_2.10-0.8.2.1/kfkdata  #日志存放地址
        num.partitions=2  #设置分区数据
        zookeeper.connect=hadoop:2181,hadoop1:2181,hadoop2:2181 #设置zookeeper地址

2.2将kafka_2.10-0.8.2.1解压文件复制到其他节点
scp -r /usr/local/software/kafka_2.10-0.8.2.1/ hadoop1:/usr/local/software
scp -r /usr/local/software/kafka_2.10-0.8.2.1/ hadoop2:/usr/local/software

2.3.1在hadoop1节点修改
    /usr/local/software/config/server.properties
            broker.id=1    #代理的id
            host.name=hadoop1 #主机名

2.3.2在hadoop2节点修改
    /usr/local/software/config/server.properties
            broker.id=2    #代理的id
            host.name=hadoop2 #主机名
            
            

启动kafka(在启动zookeeper基础上)
      bin/kafka-server-start.sh config/server.properties   #每个broker都要启动
后台启动
     nohup kafka-server-start.sh config/server.properties &
创建一个叫test的主题,
     bin/kafka-topics.sh --create --zookeeper hadoop:2181 --replication-factor 1 --partitions 1 --topic test
列出主题名字
     bin/kafka-topics.sh --list --zookeeper hadoop:2181
打开test主题的数据生产者
     bin/kafka-console-producer.sh --broker-list hadoop:9092 --topic test
打开test主题的主题消费者
    bin/kafka-console-consumer.sh --zookeeper hadoop:2181 --topic test --from-beginning

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部