文档章节

CDH客户端安装

pearma
 pearma
发布于 2017/07/18 16:51
字数 682
阅读 110
收藏 0
点赞 0
评论 0

##原理 CDH的客户端,指得是能够以客户端方式,访问CDH集群服务的各类工具的集合。主要包括hdfs,hive和hbase

##操作

  1. ###前提条件 需要事先装好JDK

  2. ###获取介质

    安装CDH客户端和安装服务端没啥区别,安装介质也是一样的。

    cd /tmp    
    wget http://archive.cloudera.com/cdh5/parcels/5.10.1/CDH-5.10.1-1.cdh5.10.1.p0.10-el7.parcel
    
  3. ###部署介质

    安装客户端,就不需要像安装服务端那么繁琐,也不需要安装cloudera manager。简单说,就是把需要的文件解包,放好即可。

    mkdir /opt/cloudera/
    mkdir /opt/cloudera/parcels
    cd /opt/cloudera/parcels
    tar xvf /tmp/CDH-5.10.1-1.cdh5.10.1.p0.10-el7.parcel
    ln –s CDH-5.10.1-1.cdh5.10.1.p0.10 CDH
    
  4. ###配置客户端

    配置客户端主要就是配置文件、环境变量和路径的设置。

    #从hadoop集群获取配置文件
    a.在Cloudera Manager管理界面中,选择Hive服务
    b.在“操作”菜单中选择“下载客户端配置文件”
    c.将配置文件上传Hadoop客户端/tmp目录,文件名为hive.zip
    d.在Hadoop客户端执行:
         mkdir /opt/cloudera/etc/
         cd /opt/cloudera/etc
         unzip /tmp/hive.zip
    
    #从hadoop集群获取hbase配置文件
    a.在Hadoop客户端执行:
         scp -r root@slave4:/etc/hbase /etc/  #slave4是hadoop集群中的一个节点
    
    #从hadoop集群获取hosts配置文件,因为来自集群的配置文件中,可能会本地无法解析的主机名,所以需要拿到集群的hosts文件,用于解析ip地址。
    a.在Hadoop客户端执行:
         scp  root@slave4:/etc/hosts /tmp/  #slave4是hadoop集群中的一个节点
         cat /tmp/host >> /etc/hosts
    
    #修改Hadoop客户端环境变量,将以下命令追加到/etc/profile里,确保每个用户都有同样一套环境变量
    
         export JAVA_HOME="/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.45.x86_64"
         export HADOOP_HOME="/opt/cloudera/parcels/CDH"
         export HIVE_HOME="/opt/cloudera/parcels/CDH/lib/hive"
         export HBASE_HOME="/opt/cloudera/parcels/CDH/lib/hbase"
         export HCAT_HOME="/opt/cloudera/parcels/CDH"
         export HADOOP_CONF_DIR="/opt/cloudera/etc/hive-conf"
         export HIVE_CONF="/opt/cloudera/etc/hive-conf/"
         export YARN_CONF_DIR="/opt/cloudera/etc/hive-conf"
         export CDH_MR2_HOME=$HADOOP_HOME/lib/hadoop-mapreduce
         export PATH=${JAVA_HOME}/bin:${HADOOP_CONF_DIR}:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${HBASE_HOME}/bin:${HIVE_HOME}/bin:${HCAT_HOME}/bin:${PATH}
    
  5. ###连通性验证

    a.验证HDFS
    hadoop fs –ls /  #如果可以列出目录,证明HDFS客户端配置成功;
    b.验证HIVE
    beeline -u "jdbc:hive2://slave4:10000/default;principal=kylin/slave4@MCITP.COM" #如果是基于kerberos登录,使用这种方式;
    beeline -u "jdbc:hive2://slave4:10000/default" #如果是基本认证登录,则采用这种方式
    show databases;#如果可以进入beeline命令行模式,而且可以显示默认数据库defaul,证明beeline客户端配置成功。
    c.验证HBASE
    hbase shell
    list  #如果可以进入hbase shell,并且可以列出hbase中的表名,证明hbase客户端配置成功。
    

© 著作权归作者所有

共有 人打赏支持
pearma
粉丝 3
博文 64
码字总数 25295
作品 0
徐汇
高级程序员

暂无文章

什么是Base64

一、什么是Base64? 百度百科中对Base64有一个很好的解释:“Base64是网络上最常见的用于传输8Bit字节码的编码方式之一,Base64就是一种基于64个可打印字符来表示二进制数据的方法”。 什么是...

Jack088
5分钟前
0
0
SQL多表联查leftjoin左边加表单

SELECT IFNULL(u.USER_ACCOUNT, o.USER_ACCOUNT) u.USER_ACCOUNT, o.* FROM gh_orders o LEFT JOIN gh_user u ON o.PARENT_ID = u.ROW_ID 1.假如u.USER_ACCOUNT不空返回u.USER_ACCOUNT,否则返......

森火
9分钟前
0
0
expect脚本同步文件、expect脚本指定host和要同步的文件、构建文件分发系统

expect脚本同步文件 更改权限 执行脚本 查看执行结果 expect eof需要加上,作用是等脚本命令执行完再进行退出 expect脚本指定host和要同步的文件 更改权限,执行脚本 构建文件分发系统 需求背...

Zhouliang6
47分钟前
1
0
Hive应用:外部分区表

Hive应用:外部分区表 介绍 Hive可以创建外部分区表。创建表的时候,分区要在建表语句中体现。建完之后,你不会在表中看到数据,需要进行分区添加,使用alter语句进行添加。然后数据才会显示...

星汉
57分钟前
3
0
点击Enter登录

1. 效果 2. 实现过程(记得引入jq文件) //6.回车事件 登录 $(function() { document.onkeydown = function(event) { var e = event || window.event || arguments.callee.caller.arguments......

Lucky_Me
今天
1
0
点击菜单内容切换

<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> <style> .menu{ height: 38px; background-color: #eeeeee; line-height: 38px; } .mao{ ......

南桥北木
今天
1
0
OSChina 周六乱弹 —— 妹子和游戏哪个更好玩

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @andonny :分享唐朝乐队的单曲《国际歌》 《国际歌》- 唐朝乐队 手机党少年们想听歌,请使劲儿戳(这里) @举个栗子- :日常祈雨 邪恶的大祭...

小小编辑
今天
591
8
流利阅读笔记32-20180721待学习

“人工智能”造假:只有人工,没有智能 Lala 2018-07-21 1.今日导读 当今社会,擅长单个方面的人工智能已经盛行,手机借助 AI 智慧防抖技术帮助大家拍出清晰照片,谷歌研发的 AI 助手将可以帮...

aibinxiao
今天
10
0
我的成长记录(一)

今天突然精神抖擞,在我的博客下新开一项分类>成长记录,专门记录每隔一段时间我的一点感悟吧。因为今天才专门花时间新开这样一个分类,所以以前有过的一些感悟没有记录下来,现在已经想不起...

dtqq
今天
1
0
机器学习管理平台 MLFlow

最近工作很忙,博客一直都没有更新。抽时间给大家介绍一下Databrick开源的机器学习管理平台-MLFlow。 谈起Databrick,相信即使是不熟悉机器学习和大数据的工程湿们也都有所了解,它由Spark的...

naughty
今天
18
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部