大数据实验室(大数据基础培训)——Kafka的安装、配置及基础使用

原创
2016/05/06 08:49
阅读数 84

为某企业做的培训,完整文档见:http://gudaoxuri.github.io/bd-lab/

11. Kafka

此主题介绍Kafka的安装、配置及基础使用。

Kafka基本信息
官网:http://kafka.apache.org/

11.1. 环境准备

# 切换到工作空间
cd /opt/workspaces
# 创建Kafka数据目录
mkdir data/kafka
# 创建Kafka日志目录
mkdir logs/kafka

11.2. 安装

wget http://mirrors.cnnic.cn/apache/kafka/0.8.2.2/kafka_2.10-0.8.2.2.tgz
tar -zxf kafka_2.10-0.8.2.2.tgz
rm -rf kafka_2.10-0.8.2.2.tgz
mv kafka_2.10-0.8.2.2 ./frameworks/kafka

11.3. 配置(伪分布式)

vi ./frameworks/kafka/config/server.properties
# 设置如下参数:
broker.id=0
port=9092
# 对外主机名
advertised.host.name=<Docker对外IP>
# 数据目录
log.dirs=/opt/workspaces/data/kafka
# 连接ZK
zookeeper.connect=localhost:2181
当您有多块网卡或使用特殊的网络设置导致Kafka启动时使用的IP与对外暴露的IP不同时需要指定advertised.host.name为您期望使用的外网IP
log.dirs的解释为A comma seperated list of directories under which to store log files,这里所谓的日志文件指的是Kafka的消息持久化文件,并不是一般意义的运行日志
vi ./frameworks/kafka/config/log4j.properties
# 设置日志目录
kafka.logs.dir=/opt/workspaces/logs/kafka

11.4. 启动与停止

nohup ./frameworks/kafka/bin/kafka-server-start.sh ./frameworks/kafka/config/server.properties >/dev/null 2>&1 &

11.5. 测试

./frameworks/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
./frameworks/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
> This is a message
> This is another message
# 在另个窗口输入
./frameworks/kafka/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
> This is a message
> This is another message
展开阅读全文
打赏
1
1 收藏
分享
加载中
更多评论
打赏
0 评论
1 收藏
1
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部