文档章节

zookeeper3.5.5 centos7 完全分布式 搭建随记

o
 osc_6jhxf9ab
发布于 07/05 08:54
字数 607
阅读 29
收藏 0

「深度学习福利」大神带你进阶工程师,立即查看>>>

zookeeper3.5.5 centos7 完全分布式 搭建随记

这里是当初在三个ECS节点上搭建hadoop+zookeeper+hbase+solr的主要步骤,文章内容未经过润色,请参考的同学搭配其他博客一同使用,并记得根据实际情况调整相关参数

 

0.prepare

准备奇数台已经配置好jdk的节点 (奇数台避免选举leader时脑裂)

防火墙、ECS安全组

 

1. 指定位置解压

 

2.配置环境变量

2. vi /etc/profile
export ZK_HOME=/opt/zookeeper/zookeeper-3.5.5 
export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:${ZK_HOME}/bin:$PATH

source /etc/profile

 

3. zoo.cfg

vi /.../zookeeper-3.5.5/conf/zoo.cfg

dataDir=/opt/zookeeper/data
dataLogDir=/opt/zookeeper/dataLog
server.1=Gwj:2888:3888
server.2=Ssj:2888:3888
server.3=Pyf:2888:3888

(主机名, 心跳端口、数据端口)

 

4. 创建dataDir和dataLogDir myid

按照上面的路径(可自定义路径和文件名)创建对应文件夹
并进入创建的data文件夹创建myid,各个节点myid要不一样

 

5. 启动 关闭 检验

bin目录下(zookeeper分布式时要在每个节点都进行启动

zkServer.sh start/stop/status

 

正常启动节点进程

ZooKeeper

	QuorumPeerMain

 

遇到的问题:

question1

1. Cannot open channel to 3 at election address Pyf/xxx.xxx.xxx.xxx:3888
	在zoo.cfg中将本机用节点 用  0.0.0.0  IP代替主机名
	测试后未解决
	
	检查防火墙
		查看防火墙状态---systemctl status firewalld
		关闭防火墙---systemctl status firewalld
		开机禁用---systemctl disable firewalld
		
		集群需要修改为dead状态
			firewalld.service - firewalld - dynamic firewall daemon
			Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled)
			Active: inactive (dead)
			Docs: man:firewalld(1)
		已经是dead状态,进行下一步排查
		
		
	centos集群时间同步
		查看当前时区---timedatectl
		发现一个节点的时间不对,使用timedatectl set-timezone "Asia/Shanghai"修正时间
		
		重新启动zookeeper,发现该问题解决
		更多有关centos时间的操作详见https://www.cnblogs.com/zhi-leaf/p/6282301.html

 

question2

2. 从机启动日志connect timed out
	
	查询本机公网ip---curl icanhazip.com
	查看内网ip---(在第一行显示)ifconfig -a
	
	注释掉 127.0.0.1 的配置
	
	事物日志与快照日志的查看方法
	(忘记贴了)
	
	sshd端口测试,例:
	ssh -v -p 2888 root@Gwj
	添加监听端口(问题解决后个人感觉应该是因为端口没有打通,所以ssh没有自动对2888进行监听,以后发现问题时可以)
	firewall-cmd --query-port=2888/tcp
	firewall-cmd --add-port=2888/tcp --permanent(no)
	firewall-cmd --reload
	firewall-cmd --reload*(yes)

 

o
粉丝 0
博文 75
码字总数 0
作品 0
私信 提问
加载中
请先登录后再评论。
记一次失败的Perl + Nginx + FastCGI 配置过程

这两天心血来潮,不知道为什么和 Perl + Nginx + FastCGI 配置 耗上了。但是失败了,记录如下: 1)安装Nginx 1.4.3 ,我的是WINDOWS 7 系统,修改配置文件如下: location ~ .(pl|cgi|perl)?...

通吃岛-低手哥
2013/10/27
1.7K
7
工作流管理系统--Pegasus WMS

Pegasus (飞马座)工作流管理系统包括一套技术标准工作流程应用程序中执行帮助许多不同的环境中,包括桌面、校园集群、网格、云。它弥补了科学领域和执行环境通过自 动映射到分布式资源的高层工...

匿名
2013/02/24
5.4K
0
词典软件--DictForGeeks

DictForGeeks是个人写的一款词典软件,支持高度自定义。个人在学习过程中,发现很多科技词汇的意思跟主流的词义很不一样就想写一款可以自己定义词义的词典,支持添加和查询功能。至少要比txt...

卓尔
2013/03/30
1K
0
LightWeb--LightWeb

使用较少的外部框架, 搭建轻型Web架构. 已经或将包含: 轻型依赖注入的实现 Front Controllerf模式实现Http Request的处理,完全摆脱Web Form和ASP.Net Repository实现持久层。 持续完善中, 希...

予沁安
2012/11/21
1.4K
0
商铺记账系统软件--bluebee蓝蜜蜂记账系统

此项目已废弃:) Donate捐助 bluebee accounting system is a popular and free accounting system for individual businesses.This system focus on the individual businesses operation......

刘学炜
2013/04/18
1.4W
10

没有更多内容

加载失败,请刷新页面

加载更多

人工神经网络分类器及BP算法相关数学推导和思考

人工神经网络相关数学推导和思考 今天凌晨今天凌晨的欧冠的八分之一决赛中,巴萨依靠朗格莱,梅西,苏亚雷斯三人的进球顺利挺进八强!梅老板的1V4更是让人直呼:爷青回!那么问题来了,如何根...

osc_873fteab
23分钟前
0
0
Spring Boot实战解决高并发数据入库: Redis 缓存+MySQL 批量入库

前言 最近在做阅读类的业务,需要记录用户的PV,UV; 项目状况:前期尝试业务阶段; 特点: 快速实现(不需要做太重,满足初期推广运营即可) 快速投入市场去运营 收集用户的原始数据,三要素...

osc_g96tdr1z
23分钟前
0
0
HFDS的数据写入流程

1.HFDS的数据写入流程的基本参数 首先了解数据写入过程中,什么是block, packet, chunk 1.block:数据块,当上传的文件太大时, 就需要分块,一个块默认设置时128M, 在客户端完成切割操作。...

osc_52r4y6wv
24分钟前
22
0
CVE-2020-14644 weblogic iiop反序列化漏洞分析

报告编号:B6-2020-081101 报告来源:360CERT 报告作者:ph4nt0mer 更新日期:2020-08-11 0x01 文章简述 2020年7月15日,Oracle发布2020年7月关键补丁更新,其中针对 WebLogic Server Core组件...

360CERT
今天
0
0
程序员到底要不要懂业务?

一、前言 给非互联网行业从业者科普一下,互联网公司一个项目团队的标准成员组成和职责分工:项目经理、架构师、产品经理、核心开发人员(TL)、开发、测试、运营(或业务方)。 项目经理:一...

osc_r0irdqn7
25分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部