文档章节

CDH客户端安装

pearma
 pearma
发布于 2017/07/18 16:51
字数 682
阅读 220
收藏 1

##原理 CDH的客户端,指得是能够以客户端方式,访问CDH集群服务的各类工具的集合。主要包括hdfs,hive和hbase

##操作

  1. ###前提条件 需要事先装好JDK

  2. ###获取介质

    安装CDH客户端和安装服务端没啥区别,安装介质也是一样的。

    cd /tmp    
    wget http://archive.cloudera.com/cdh5/parcels/5.10.1/CDH-5.10.1-1.cdh5.10.1.p0.10-el7.parcel
    
  3. ###部署介质

    安装客户端,就不需要像安装服务端那么繁琐,也不需要安装cloudera manager。简单说,就是把需要的文件解包,放好即可。

    mkdir /opt/cloudera/
    mkdir /opt/cloudera/parcels
    cd /opt/cloudera/parcels
    tar xvf /tmp/CDH-5.10.1-1.cdh5.10.1.p0.10-el7.parcel
    ln –s CDH-5.10.1-1.cdh5.10.1.p0.10 CDH
    
  4. ###配置客户端

    配置客户端主要就是配置文件、环境变量和路径的设置。

    #从hadoop集群获取配置文件
    a.在Cloudera Manager管理界面中,选择Hive服务
    b.在“操作”菜单中选择“下载客户端配置文件”
    c.将配置文件上传Hadoop客户端/tmp目录,文件名为hive.zip
    d.在Hadoop客户端执行:
         mkdir /opt/cloudera/etc/
         cd /opt/cloudera/etc
         unzip /tmp/hive.zip
    
    #从hadoop集群获取hbase配置文件
    a.在Hadoop客户端执行:
         scp -r root@slave4:/etc/hbase /etc/  #slave4是hadoop集群中的一个节点
    
    #从hadoop集群获取hosts配置文件,因为来自集群的配置文件中,可能会本地无法解析的主机名,所以需要拿到集群的hosts文件,用于解析ip地址。
    a.在Hadoop客户端执行:
         scp  root@slave4:/etc/hosts /tmp/  #slave4是hadoop集群中的一个节点
         cat /tmp/host >> /etc/hosts
    
    #修改Hadoop客户端环境变量,将以下命令追加到/etc/profile里,确保每个用户都有同样一套环境变量
    
         export JAVA_HOME="/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.45.x86_64"
         export HADOOP_HOME="/opt/cloudera/parcels/CDH"
         export HIVE_HOME="/opt/cloudera/parcels/CDH/lib/hive"
         export HBASE_HOME="/opt/cloudera/parcels/CDH/lib/hbase"
         export HCAT_HOME="/opt/cloudera/parcels/CDH"
         export HADOOP_CONF_DIR="/opt/cloudera/etc/hive-conf"
         export HIVE_CONF="/opt/cloudera/etc/hive-conf/"
         export YARN_CONF_DIR="/opt/cloudera/etc/hive-conf"
         export CDH_MR2_HOME=$HADOOP_HOME/lib/hadoop-mapreduce
         export PATH=${JAVA_HOME}/bin:${HADOOP_CONF_DIR}:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${HBASE_HOME}/bin:${HIVE_HOME}/bin:${HCAT_HOME}/bin:${PATH}
    
  5. ###连通性验证

    a.验证HDFS
    hadoop fs –ls /  #如果可以列出目录,证明HDFS客户端配置成功;
    b.验证HIVE
    beeline -u "jdbc:hive2://slave4:10000/default;principal=kylin/slave4@MCITP.COM" #如果是基于kerberos登录,使用这种方式;
    beeline -u "jdbc:hive2://slave4:10000/default" #如果是基本认证登录,则采用这种方式
    show databases;#如果可以进入beeline命令行模式,而且可以显示默认数据库defaul,证明beeline客户端配置成功。
    c.验证HBASE
    hbase shell
    list  #如果可以进入hbase shell,并且可以列出hbase中的表名,证明hbase客户端配置成功。
    

© 著作权归作者所有

共有 人打赏支持
pearma
粉丝 3
博文 67
码字总数 26042
作品 0
徐汇
高级程序员
私信 提问

暂无文章

Linux系统CentOS 7修改httpd服务Apache网站根目录/var/www/html

Linux系统CentOS 7修改httpd服务Apache网站根目录/var/www/html 2018年04月01日 14:24:00 雨打芭蕉 阅读数:4826 标签: /var/www/htmlCentOS 7根目录chmod 更多 个人分类: HadoopLinux 版权...

linjin200
刚刚
0
0
CENTOS7 搭建文件服务器:samba共享linux文件夹

一、安装samba: sudo yum install samba 二、配置samba共享目录 sudo vi /etc/samba/smb.conf [rpi_web_notebooks] comment = 树莓派jupyter notebook目录 path = /home/......

mbzhong
7分钟前
0
0
解析Nuxt.js Vue服务端渲染摸索

本篇文章主要介绍了详解Nuxt.js Vue服务端渲染摸索,写的十分的全面细致,具有一定的参考价值,对此有需要的朋友可以参考学习下。如有不足之处,欢迎批评指正。 Nuxt.js 十分简单易用。一个简...

前端攻城老湿
17分钟前
1
0
深入解析React中的元素、组件、实例和节点

React 深入系列,深入讲解了React中的重点概念、特性和模式等,旨在帮助大家加深对React的理解,以及在项目中更加灵活地使用React。 React 中的元素、组件、实例和节点,是React中关系密切的...

前端攻城小牛
32分钟前
2
0
菜鸟网络三面面经(java开发岗):Spring boot+JVM+线程池+中间件

一面 1、HaspMap底层原理?HaspTable和ConcurrentHashMap他们之间的相同点和不同点? 2、由上题提到锁的问题 3、MySQL的表锁&行锁&乐观锁&悲观锁,各自的使用场景 4、Java线程锁有哪些,各自的...

别打我会飞
37分钟前
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部