文档章节

CDH客户端安装

pearma
 pearma
发布于 2017/07/18 16:51
字数 682
阅读 157
收藏 0

##原理 CDH的客户端,指得是能够以客户端方式,访问CDH集群服务的各类工具的集合。主要包括hdfs,hive和hbase

##操作

  1. ###前提条件 需要事先装好JDK

  2. ###获取介质

    安装CDH客户端和安装服务端没啥区别,安装介质也是一样的。

    cd /tmp    
    wget http://archive.cloudera.com/cdh5/parcels/5.10.1/CDH-5.10.1-1.cdh5.10.1.p0.10-el7.parcel
    
  3. ###部署介质

    安装客户端,就不需要像安装服务端那么繁琐,也不需要安装cloudera manager。简单说,就是把需要的文件解包,放好即可。

    mkdir /opt/cloudera/
    mkdir /opt/cloudera/parcels
    cd /opt/cloudera/parcels
    tar xvf /tmp/CDH-5.10.1-1.cdh5.10.1.p0.10-el7.parcel
    ln –s CDH-5.10.1-1.cdh5.10.1.p0.10 CDH
    
  4. ###配置客户端

    配置客户端主要就是配置文件、环境变量和路径的设置。

    #从hadoop集群获取配置文件
    a.在Cloudera Manager管理界面中,选择Hive服务
    b.在“操作”菜单中选择“下载客户端配置文件”
    c.将配置文件上传Hadoop客户端/tmp目录,文件名为hive.zip
    d.在Hadoop客户端执行:
         mkdir /opt/cloudera/etc/
         cd /opt/cloudera/etc
         unzip /tmp/hive.zip
    
    #从hadoop集群获取hbase配置文件
    a.在Hadoop客户端执行:
         scp -r root@slave4:/etc/hbase /etc/  #slave4是hadoop集群中的一个节点
    
    #从hadoop集群获取hosts配置文件,因为来自集群的配置文件中,可能会本地无法解析的主机名,所以需要拿到集群的hosts文件,用于解析ip地址。
    a.在Hadoop客户端执行:
         scp  root@slave4:/etc/hosts /tmp/  #slave4是hadoop集群中的一个节点
         cat /tmp/host >> /etc/hosts
    
    #修改Hadoop客户端环境变量,将以下命令追加到/etc/profile里,确保每个用户都有同样一套环境变量
    
         export JAVA_HOME="/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.45.x86_64"
         export HADOOP_HOME="/opt/cloudera/parcels/CDH"
         export HIVE_HOME="/opt/cloudera/parcels/CDH/lib/hive"
         export HBASE_HOME="/opt/cloudera/parcels/CDH/lib/hbase"
         export HCAT_HOME="/opt/cloudera/parcels/CDH"
         export HADOOP_CONF_DIR="/opt/cloudera/etc/hive-conf"
         export HIVE_CONF="/opt/cloudera/etc/hive-conf/"
         export YARN_CONF_DIR="/opt/cloudera/etc/hive-conf"
         export CDH_MR2_HOME=$HADOOP_HOME/lib/hadoop-mapreduce
         export PATH=${JAVA_HOME}/bin:${HADOOP_CONF_DIR}:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${HBASE_HOME}/bin:${HIVE_HOME}/bin:${HCAT_HOME}/bin:${PATH}
    
  5. ###连通性验证

    a.验证HDFS
    hadoop fs –ls /  #如果可以列出目录,证明HDFS客户端配置成功;
    b.验证HIVE
    beeline -u "jdbc:hive2://slave4:10000/default;principal=kylin/slave4@MCITP.COM" #如果是基于kerberos登录,使用这种方式;
    beeline -u "jdbc:hive2://slave4:10000/default" #如果是基本认证登录,则采用这种方式
    show databases;#如果可以进入beeline命令行模式,而且可以显示默认数据库defaul,证明beeline客户端配置成功。
    c.验证HBASE
    hbase shell
    list  #如果可以进入hbase shell,并且可以列出hbase中的表名,证明hbase客户端配置成功。
    

© 著作权归作者所有

共有 人打赏支持
pearma
粉丝 3
博文 65
码字总数 25626
作品 0
徐汇
高级程序员

暂无文章

ArrayList嘿嘿嘿

数组扩容技术: //扩容技术 将原数组objs类容复制到新数组并且长度为11 Object[] newObjs = Arrays.copyOf(objs,11); 数组比较大那么System.arraycopy比较有优势,因为其使用的是内存复制,省...

熊猫你好
16分钟前
1
0
Android平台下的一个好用的日历库(sxtwl_cpp),支持农历转公历,和公历转农历等功能

python版的sxtwl_cpp传送入口 在build.gradle的allprojects中加入 maven { url 'https://dl.bintray.com/yuangu/sxtwl' } 最终如下面代码所示: allprojects { repositories { ......

元谷
27分钟前
9
0
Redis常用命令

keys 我把这个命令放在第一位,是因为笔者曾经做过的项目,以及一些朋友的项目,都因为使用keys这个命令,导致出现性能毛刺。这个命令的时间复杂度是O(N),而且redis又是单线程执行,在执行k...

谢思华
43分钟前
2
0
关于css宽度分离

所谓宽度分离就是width 属性不与影响宽度的 padding/border(有时候包括 margin)属性共存 例如: .box{width:200px;padding:20px;border:1px solid;} 为何要做宽度分离 一说到分离就是为了好...

莫西摩西
54分钟前
1
0
Linux常用命令

###############常用命令说明############################## cat /proc/version 显示内核的版本 mv dir1 new_dir 重命名/移动 一个目录 rm -rf a.txt b.txt c.txt 删除多个文件 chmod 777 ......

lyle_luo
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部