CentOS6.9安装Kafka

2018/08/21 10:01
阅读数 10

先设置jdk1.8

vi /etc/profile

export JAVA_HOME=/usr/local/jdk
export JRE_HOME=/usr/local/jdk/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile

一、安装zookeeper

官网地址:https://zookeeper.apache.org/

tar zxvf zookeeper-3.4.12.tar.gz
mv zookeeper-3.4.12 /usr/local/zookeeper
cd /usr/local/zookeeper/conf
mv zoo_sample.cfg zoo.cfg
mkdir /usr/local/zookeeper/data

修改zoo.cfg配置文件
vi /usr/local/zookeeper/conf/zoo.cfg

dataDir=/usr/local/zookeeper/data
autopurge.purgeInterval=1

修改bin/zkEnv.sh脚本
vi /usr/local/zookeeper/bin/zkEnv.sh
将ZOO_LOG_DIR="." 修改为ZOO_LOG_DIR="/usr/local/zookeeper/data"
将ZOO_LOG4J_PROP=”INFO,CONSOLE” 修改为ZOO_LOG4J_PROP="INFO,ROLLINGFILE"

修改bin/zkServer.sh脚本:
vi /usr/local/zookeeper/bin/zkServer.sh
将ZOOBIN="${BASH_SOURCE-$0}" 修改为ZOOBIN=`readlink -f "${BASH_SOURCE-$0}"`

修改bin/zkCli.sh脚本:
vi /usr/local/zookeeper/bin/zkCli.sh
将ZOOBIN="${BASH_SOURCE-$0}" 修改为ZOOBIN=`readlink -f "${BASH_SOURCE-$0}"`

建立软连接
ln -s /usr/local/zookeeper/bin/zkServer.sh /usr/local/bin/zk-server
ln -s /usr/local/zookeeper/bin/zkCli.sh /usr/local/bin/zk-cli

echo 1 > /usr/local/zookeeper/data/myid

启动:zk-server start
关闭:zk-server stop

二、安装kafka

下载:http://mirror.bit.edu.cn/apache/kafka/1.0.0/kafka_2.12-1.0.0.tgz

tar zxvf kafka_2.12-1.0.0.tgz
mv kafka_2.12-1.0.0 kafka

#创建日志目录
mkdir -p /usr/local/kafka/kafkaLogs

#修改配置文件
vi /usr/local/kafka/config/server.properties

broker.id=0
listeners=PLAINTEXT://:9092
port=9092              #端口
host.name=10.8.5.101          #服务器内网IP
advertised.host.name=114.115.x.x    #对外服务的IP,不管是内外网如果不写的话除本机外谁都连不上
zookeeper.connect=localhost:2181   #zookeeper地址和端口,单机配置部署,localhost:2181
log.dirs=/usr/local/kafka/kafkaLogs   #日志存放路径,上面创建的日志目录
delete.topic.enable=true         #可以删除主题
auto.create.topics.enable=false     #关闭自动创建topic

num.network.threads=cpu核数+1       #broker处理消息的最大线程数(默认为3)
num.io.threads=cpu核数*2                 #broker处理磁盘IO的线程数

log.flush.interval.messages=10000      #每当producer写入10000条消息时,刷数据到磁盘
log.flush.interval.ms=1000                   #每间隔1秒钟时间,刷数据到磁盘

log.retention.hours=72                        #保留三天,也可以更短
log.segment.bytes=1073741824        #段文件配置1GB,有利于快速回收磁盘空间,重启kafka加载也会加快

 

#设置kafka的环境变量
vi /etc/profile
export KAFKA_HOME=/usr/local/kafka
export PATH=$PATH:$KAFKA_HOME/bin
source /etc/profile

 

#设置hosts文件

#先用hostname获取主机名

vi /etc/hosts
127.0.0.1 elk
192.168.1.194 elk

 

#后台启动

nohup /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties > /dev/null 2>&1 &

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部