文档章节

大数据实验室(大数据基础培训)——Kafka的安装、配置及基础使用

孤岛旭日
 孤岛旭日
发布于 2016/05/06 08:49
字数 402
阅读 45
收藏 1

为某企业做的培训,完整文档见:http://gudaoxuri.github.io/bd-lab/

11. Kafka

此主题介绍Kafka的安装、配置及基础使用。

Kafka基本信息
官网:http://kafka.apache.org/

11.1. 环境准备

# 切换到工作空间
cd /opt/workspaces
# 创建Kafka数据目录
mkdir data/kafka
# 创建Kafka日志目录
mkdir logs/kafka

11.2. 安装

wget http://mirrors.cnnic.cn/apache/kafka/0.8.2.2/kafka_2.10-0.8.2.2.tgz
tar -zxf kafka_2.10-0.8.2.2.tgz
rm -rf kafka_2.10-0.8.2.2.tgz
mv kafka_2.10-0.8.2.2 ./frameworks/kafka

11.3. 配置(伪分布式)

vi ./frameworks/kafka/config/server.properties
# 设置如下参数:
broker.id=0
port=9092
# 对外主机名
advertised.host.name=<Docker对外IP>
# 数据目录
log.dirs=/opt/workspaces/data/kafka
# 连接ZK
zookeeper.connect=localhost:2181
当您有多块网卡或使用特殊的网络设置导致Kafka启动时使用的IP与对外暴露的IP不同时需要指定advertised.host.name为您期望使用的外网IP
log.dirs的解释为A comma seperated list of directories under which to store log files,这里所谓的日志文件指的是Kafka的消息持久化文件,并不是一般意义的运行日志
vi ./frameworks/kafka/config/log4j.properties
# 设置日志目录
kafka.logs.dir=/opt/workspaces/logs/kafka

11.4. 启动与停止

nohup ./frameworks/kafka/bin/kafka-server-start.sh ./frameworks/kafka/config/server.properties >/dev/null 2>&1 &

11.5. 测试

./frameworks/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
./frameworks/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
> This is a message
> This is another message
# 在另个窗口输入
./frameworks/kafka/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
> This is a message
> This is another message

© 著作权归作者所有

孤岛旭日
粉丝 46
博文 58
码字总数 30599
作品 3
杭州
架构师
私信 提问
大数据实验室(大数据基础培训)——概要

为某企业做的培训,完整文档见:http://gudaoxuri.github.io/bd-lab/ 1. 概要说明 本工程为大数据培训的指导教程,包含了培训实践各个环节的说明及相关代码。 1.1. 课程概要 名称 内容 第一天...

孤岛旭日
2016/05/06
97
0
大数据开发学习的内容介绍,成都大数据培训机构哪里好?

大数据开发培训已经成为了越来越多人的选择,大数据开发工程师也是各公司争相争夺的金领人才之一了,在当今科技发展非常迅速的社会里,越来越多人把职业规划投向了大数据开发。这里为大家整理...

加米谷大数据
2018/07/17
0
0
Cloudera Apache Hadoop 管理员培训通知—北京站/上海站

Cloudera Apache Hadoop 培训及认证帮助您进阶大数据知识及技能 Cloudera 大学为期4 天的Hadoop 管理员培训将帮助学员综合理解并全 面掌握通过Cloudera Manager对Hadoop机群的运维管理,包括...

活动家
2017/10/17
0
0
好程序员大数据视频教程从零基础入门到精通

好程序员大数据视频教程从零基础入门到精通,学习大数据技术的必经之路是什么?是Hadoop吗?当然不是!如果想要踏入大数据的门槛,一个必须的条件就是我们的编程基础。熟练掌握一门编程语言是对大...

好程序员IT
04/03
0
0
大数据领域开源技术,除了 Hadoop 你还知道哪些?

众所周知,大数据正在以惊人的速度增长,几乎触及各行各业,许多组织都被迫寻找新的创造性方法来管理和控制如此庞大的数据,当然这么做的目的不只是管理和控制数据,而是要分析和挖掘其中的价...

王练
2016/10/05
5.6K
5

没有更多内容

加载失败,请刷新页面

加载更多

Taro ScrollView 组件的 scrollTop 属性是个坑

官方issue:ScrollView设置scrollTop没效果 同样的,设置 scrollTop=0 并不能实现置顶,官方回复早就修复了,我的 Taro 版本已经是最新的,然而并未修复。 万能的评论区,给出了失效的原因。...

dkvirus
18分钟前
1
0
Qt那些事0.0.21

这次还是关于PRO文件中QMAKE_POST_LINK的故事。 平时都是使用VS2015作为编译器,恰巧想用MinGW编一版程序,结果偏偏出现了错误。话说测试的这个项目可是在Linux下(fodera 20)可以正确编译通...

Ev4n
28分钟前
0
0
OSChina 周六乱弹 —— 抖音外放 亲妈下葬。

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @巴拉迪维 :一直没想明白黎明是怎么混进「四大天王」的,直到最近网易云音乐心动模式开启之后 #今日歌曲推荐# 《那有一天不想你》- 黎明 手机...

小小编辑
58分钟前
301
8
Linux使用源码包安装软件

前言: 最近整理一些以前的学习笔记。 过去都是存储在本地,此次传到网络留待备用。 源码包 Linux软件多数免费、开源,是开发人员编写的,具有很强可读性的一组相关代码文本。 源码包 --> 编...

迷失De挣扎
今天
6
0
IPv4如何转换为IPv6?

ipv6已经逐渐在应用,现在已经有很多的运营商支持ipv6,前天我们也发布了如何让电脑使用ipv6地址?有很多朋友在问?ipv6有什么作用,它的表示方式是什么,今天我们来一起来详细了解下ipv6相关计...

xiangyunyan
今天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部