文档章节

zookeeper集群搭建+hadoop集群部署

timer_xi
 timer_xi
发布于 2014/09/14 00:32
字数 949
阅读 53
收藏 0

   好久没写技术博客了,因为之前一直在开发跟公司内部业务相关的接口以及项目,感觉大多是跟公司具体业务相关的东西,因此不方便在此公开记录下来。今天抓住休息的时间想在工作之余给自己补充一点大数据的知识(工作上暂时用不到)在自己电脑上安装了6台虚拟linux系统,然后在这个6台机器上分别部署了zookeeper集群以及hadoop-2.2.0集群,部署zookeeper集群相对来说简单一点,因为网上的资料比较多,而由于自己的虚拟机是64位的,因此在部署hadoop的时候需要重新编译一遍,在这个过程中遇到的问题还蛮多的,不过幸好都解决了。


1:首先,在VM上安装6台64位的虚拟机主要是遇到了安装包的问题以及环境部署的问题。

   以下是自己安装使用的ISO文件下载地址:

   http://mirrors.sohu.com/centos/6.5/isos/x86_64/CentOS-6.5-x86_64-bin-DVD1.iso

   其实我是之前就把这个页面的所有安装包都下载下来的,一个个试着去安装,然后最终选定了无桌面版的,可以再安装的时候选择设置,这个过程就是有点耗时间。接下来我分别在每个主机上部署了jdk,maven,git,mysql,openssh-clients,还有把相关的项目部署上去,之歌过程也有点耗时间,接下来我想尝试写个ssh脚本自动化安装测试一下。

   配置环境变量之后,就开始搭建zookeeper集群了,这个集群主要是配合阿里的开源项目dubbo(git下载:https://github.com/alibaba/dubbo)使用,我是使用5台虚拟机器部署zookeeper集群作为dubbo的注册中心,这个过程也是比较简单的,因为关于zookeeper集群的部署以前dubbo的部署网上资料一大把,当然由于在部署zookeeper集群的时候没有采用脚本部署方式,这个过程也是比较耗时间的,接下来会尝试脚本部署方式,部署完之后跑了dubbo的demo以前dubbo-admin查看了一下还是OK的,当然由于条件有限没有继续深入下去。


2:hadoop的编译,这个编译比较繁琐,自己也是走一步再修改一下,整理了一下,之后发现原来网上有一篇文章记载的步骤跟错误跟我在操作的时候没多大的差异,大概就是以下步骤

首先需要安装的是:

     findbugs需要配置环境变量

  • wget https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz

  • wget http://www.cmake.org/files/v2.8/cmake-2.8.12.2.tar.gz

  • yum install pkgconfig

  • yum install openssl

  • yum install openssl-devel

  • vi hadoop-common-project/hadoop-auth/pom.xml(增加有加号的)

    </dependency>
        <dependency>
          <groupId>org.mortbay.jetty</groupId>
    +      <artifactId>jetty-util</artifactId>
    +      <scope>test</scope>
    +    </dependency>
    +    <dependency>
    +      <groupId>org.mortbay.jetty</groupId>
          <artifactId>jetty</artifactId>
          <scope>test</scope>
        </dependency>

  • 最后就是执行命令:mvn package -DskipTests -Pdist,native -Dtar



  执行以上步骤后,接下来就是漫长的等待了,反正我是至少等待了30分钟,不过还好最终编译成功了,接下来的事情就是重复使用scp命令传输文件了,关于hadoop+zookeeper集群的搭建网上也有一大堆。

 

本文出自 “陈砚羲” 博客,请务必保留此出处http://chenyanxi.blog.51cto.com/4599355/1552425

© 著作权归作者所有

timer_xi
粉丝 2
博文 53
码字总数 64113
作品 0
深圳
程序员
私信 提问
Hadoop集群搭建-02安装配置Zookeeper

Hadoop集群搭建-05安装配置YARN Hadoop集群搭建-04安装配置HDFS Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hadoop集群搭建-01前期准备 这一篇接着记录集群搭建,...

虚拟世界的懒猫
07/21
48
0
ZooKeeper学习第二期--ZooKeeper安装配置

一、Zookeeper的搭建方式 Zookeeper安装方式有三种,单机模式和集群模式以及伪集群模式。 ■ 单机模式:Zookeeper只运行在一台服务器上,适合测试环境; ■ 伪集群模式:就是在一台物理机上运...

卯金刀GG
2017/10/25
28
0
Java之品优购部署_day01(3)

2.2 搭建 Zookeeper 集群 2.2.1 搭建要求 真实的集群是需要部署在不同的服务器上的,但是在我们测试时同时启动十几个虚拟机 内存会吃不消,所以我们通常会搭建伪集群,也就是把所有的服务都搭...

我是小谷粒
2018/07/06
0
0
ZooKeeper故障节点替换过程详解

作者介绍 一、环境描述 我的生产环境ZooKeeper 版本3.4.6,5个节点组成的ZooKeeper集群。ZooKeeper集群为一套8个节点的Hadoop集群和HBase 集群提供高可用保障。 二、问题描述 因为某些特殊原...

康壮
2017/05/25
0
0
Hadoop集群搭建-04安装配置HDFS

Hadoop集群搭建-05安装配置YARN Hadoop集群搭建-04安装配置HDFS Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hadoop集群搭建-01前期准备 HDFS是配合Hadoop使用的分...

虚拟世界的懒猫
07/22
40
0

没有更多内容

加载失败,请刷新页面

加载更多

最简单的获取相机拍照的图片

  import android.content.Intent;import android.graphics.Bitmap;import android.os.Bundle;import android.os.Environment;import android.provider.MediaStore;import andr......

MrLins
21分钟前
2
0
说好不哭!数据可视化深度干货,前端开发下一个涨薪点在这里~

随着互联网在各行各业的影响不断深入,数据规模越来越大,各企业也越来越重视数据的价值。作为一家专业的数据智能公司,个推从消息推送服务起家,经过多年的持续耕耘,积累沉淀了海量数据,在...

个推
22分钟前
5
0
第三方支付-返回与回调注意事项

不管是支付宝,微信,还是其它第三方支付,第四方支付,支付机构服务商只要涉及到钱的交易都要进行如下校验,全部成功了才视为成功订单 1.http请求是否成功 2.校验商户号 3.校验订单号及状态...

Shingfi
25分钟前
3
0
简述Java内存分配和回收策略以及Minor GC 和 Major GC(Full GC)

内存分配: 1. 栈区:栈可分为Java虚拟机和本地方法栈 2. 堆区:堆被所有线程共享,在虚拟机启动时创建,是唯一的目的是存放对象实例,是gc的主要区域。通常可分为两个区块年轻代和年老代。更...

DustinChan
31分钟前
4
0
Excel插入批注:可在批注插入文字、形状、图片

1.批注一直显示:审阅选项卡-------->勾选显示批注选项: 2.插入批注快捷键:Shift+F2 组合键 3.在批注中插入图片:鼠标右键点击批注框的小圆点【重点不可以在批注文本框内点击】----->调出批...

东方墨天
55分钟前
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部