文档章节

Hive基本环境搭建(附赠Java和Hadoop的环境搭建)

LeeHH
 LeeHH
发布于 2017/02/07 11:27
字数 1172
阅读 40
收藏 0

Hive依赖于Hadoop,而Hadoop依赖于Java,所以第一步得先搭建Java环境。

 

JAVA环境的搭建

1.先用yum检测一下是否已经安装了java:

yum list installed | grep java

2.如果有,可以选择卸载再装,或者跳过安装步骤,卸载的命令是:

yum -y remove java*

3.查一下yum库里的Java安装包:

yum -y list java*

4.自行选一个版本安装,比如我就选择安装1.7.0版本的:

yum -y install java-1.7.0-openjdk*

5.安装完,用输出一下Java版本号,看看是否安装成功:

java -version

6.确定一下Java安装在哪里了:

whereis Java

7.找到之后,开始配置环境变量,我这里是输出然后重定向到profile.d里的文件来生成环境变量的,当然你也可以自行去那个目录来新建和编辑文件:

echo "export JAVA_HOME=/usr/java" > /etc/profile.d/java.sh
echo "PATH=$PATH:$JAVA_HOME/bin" >> /etc/profile.d/java.sh

8.刷新一下:

. /etc/profile

9.检测一下,如果输出正确,就可以进入下一步了,否则就自行检查一下命令有没有敲对:

echo $JAVA_HOME

 

Hadoop环境搭建

1.先选择好一个要存放Hadoop的目录,比如:

cd ~

2.开始下载Hadoop(可以用浏览器打开 http://www.us.apache.org/dist/hadoop/common/ 来自行选择要安装的版本,然后替换下面的命令的url):

wget http://www.us.apache.org/dist/hadoop/common/hadoop-1.2.1/hadoop-1.2.1-bin.tar.gz

3.下载完了就解压一下:

tar -xzf hadoop-1.2.1-bin.tar.gz

4.开始配置Hadoop的环境变量:

echo "export HADOOP_HOME=$PWD/hadoop-1.2.1" > /etc/profile.d/hadoop.sh
echo "PATH=$PATH:$HADOOP_HOME/bin" >> /etc/profile.d/hadoop.sh

5.刷新一下:

. /etc/profile

6.这里可以执行个Hadoop命令来测试一下是否配置成功(这个命令与Linux的ls -l命令类似):

hadoop dfs -ls /

7.如果输出正常,则说明配置成功,可以进入下一步,如果提示(hadoop: command not found),说明配置有问题,应自行检验。当然,你也可以试试指定绝对路径来执行这条命令,如果实在找不到哪里有问题,可以尝试把hadoop-1.2.1重命名为hadoop,然后把hadoop.sh里的值修改一下再试试:

/root/hadoop/hadoop-1.2.1/bin/hadoop dfs -ls /

 

Hive环境搭建

1.继续,选择一个存放Hive的目录:

cd ~

2.下载(下载前去 http://archive.apache.org/dist/hive/ 找适合自己的版本,替换下面的url):

curl -O http://archive.apache.org/dist/hive/hive-0.9.0/hive-0.9.0-bin.tar.gz

3.解压:

tar -xzf hive-0.9.0-bin.tar.gz

4.新建我们的warehouse:

mkdir -p /usr/hive/warehourse

5.修改warehourse的权限:

chmod a+rwx /usr/hive/warehourse

6.配置下环境变量:

echo "export HIVE_HOME=$PWD/hive-0.9.0-bin" > /etc/profile.d/hive.sh
echo "PATH=$PATH:$HIVE_HOME/bin" >> /etc/profile.d/hive.sh

7.刷新一下:

. /etc/profile

8.检查一下:

$HIVE_HOME

OK,至此,配置就圆满结束了~~

9.如果需要自行配置本地模式的话,可以编辑(如果没有就新建)$HIVE_HOME/conf下的hive-site.xml文件添加以下内容:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/home/me/hive/warehouse</value>
        <description>
            Local or HDFS directory where Hive keeps table contents.
        </description>
    </property>
    <property>
        <name>hive.metastore.local</name>
        <value>true</value>
        <description>
            Use false if a production metastore server is used.
        </description>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:derby:;databaseName=/home/me/hive/metastore_db;create=true</value>
        <description>
            The JDBC connection URL.
        </description>
    </property>
</configuration>

10.还可以在hive-site.xml中进行元数据存储数据库的配置(如果已经配置了本地模式,就把下面的几个除了ConnectionURL之外的property复制进去就好了),配置完之后需要去 https://dev.mysql.com/downloads/connector/j/ 下载对应的Jconnector放到$HIVE_HOME/lib目录下:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://db1.mydomain.pvt/hive_db?createDatabaseIfNotExist=true</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>database_user</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>database_pass</value>
    </property>
</configuration>

 

下面我们来打开Hive的命令行界面(CLI)来试试水

1.(如果Hive环境配得很完美,那就直接在shell命令行输入hive回车即可进入CLI,然后就跳至第三步)进到hive的目录下:

cd $HIVE_HOME

2.打开hive:

bin/hive

3.然后就进入hive命令行界面了,我们先来新建个表(以下的命令前的“hive>”是hive的提示符,不需要输入,我将它写出来只是为了更清晰地区分Linux的命令行和hive的命令行):

hive> create table x (a INT);

4.新建表后,select一下看看:

hive> select * from x;

5.再试试删除表:

hive> drop table x;

6.退出:

hive> exit;

OK,试完了,继续愉快地学习吧~~

© 著作权归作者所有

LeeHH
粉丝 1
博文 37
码字总数 37428
作品 0
深圳
程序员
私信 提问
VirtualBox、CentOS 6.4、Hadoop、Hive玩起

1 安装VirtualBox: VirtualBox是一款开源免费的并且非常强大的虚拟机软件,同时支持X86和AMD64/Intel64,可以在多个操作系统平台上运行。与同性质的VMWare和Virtual PC比较,VirtualBox独到...

smile_zjw
2013/11/26
1K
1
手把手教你搭建hadoop+hive测试环境(新手向)

本文由 网易云 发布 作者:唐雕龙 本篇文章仅限内部分享,如需转载,请联系网易获取授权。 面向新手的hadoop+hive学习环境搭建,加对我走过的坑总结,避免大家踩坑。 对于hive相关docker,并...

wangyiyungw
2018/05/10
0
0
学习Hadoop资料分享

最近一直在学习Hadoop,没办法,工作需要,最近在网上收集资料时,看到了一个课程,叫Cloudera Hadoop 4系列实战课程(电商业日志流量分析项目),把课程内容的大概给大家看一下,有40课时,看...

adiykk
2013/06/19
947
5
基于docker的spark-hadoop分布式集群之二: 环境测试

在上一节搭建的集群环境基础上,本节对各个模块做个测试 Mysql 测试 1、Mysql节点准备 为方便测试,在mysql节点中,增加点数据 进入主节点 进入数据库节点 创建数据库 创建数据表 增加几条数...

Fordestiny
2018/08/16
0
0
大数据学习系列之八----- Hadoop、Spark、HBase、Hive搭建环境遇到的错误以及解

前言 在搭建大数据Hadoop相关的环境时候,遇到很多了很多错误。我是个喜欢做笔记的人,这些错误基本都记载,并且将解决办法也写上了。因此写成博客,希望能够帮助那些搭建大数据环境的人解决...

虚无境
2018/08/23
0
0

没有更多内容

加载失败,请刷新页面

加载更多

哪些情况下适合使用云服务器?

我们一直在说云服务器价格适中,具备弹性扩展机制,适合部署中小规模的网站或应用。那么云服务器到底适用于哪些情况呢?如果您需要经常原始计算能力,那么使用独立服务器就能满足需求,因为他...

云漫网络Ruan
54分钟前
3
0
Kafka 2.3 Producer (0.9以后版本适用)

kafka0.9版本以后用java重新编写了producer,废除了原来scala编写的版本。 这里直接使用最新2.3版本,0.9以后的版本都适用。 注意引用的包为:org.apache.kafka.clients.producer import ja...

实时计算
今天
3
0
Java 中的 String 有没有长度限制

转载: https://juejin.im/post/5d53653f5188257315539f9a String是Java中很重要的一个数据类型,除了基本数据类型以外,String是被使用的最广泛的了,但是,关于String,其实还是有很多东西...

低至一折起
今天
14
0
OpenStack 简介和几种安装方式总结

OpenStack :是一个由NASA和Rackspace合作研发并发起的,以Apache许可证授权的自由软件和开放源代码项目。项目目标是提供实施简单、可大规模扩展、丰富、标准统一的云计算管理平台。OpenSta...

小海bug
昨天
11
0
DDD(五)

1、引言 之前学习了解了DDD中实体这一概念,那么接下来需要了解的就是值对象、唯一标识。值对象,值就是数字1、2、3,字符串“1”,“2”,“3”,值时对象的特征,对象是一个事物的具体描述...

MrYuZixian
昨天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部