Hive学习系列一--安装部署

原创
2016/06/14 09:53
阅读数 51

Hive的认识

    Hive 是基于Hadoop 构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据,可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行,通过自己的SQL 去查询分析需要的内容,这套SQL 简称Hive SQL,使不熟悉mapreduce 的用户很方便的利用SQL 语言查询,汇总,分析数据。而mapreduce开发人员可以把自己写的mapper 和reducer 作为插件来支持Hive 做更复杂的数据分析。
     它与关系型数据库的SQL 略有不同,但支持了绝大多数的语句如DDL、DML 以及常见的聚合函数、连接查询、条件查询。HIVE不适合用于联机(online)事务处理,也不提供实时查询功能。它最适合应用在基于大量不可变数据的批处理作业。

    HIVE的特点:可伸缩(在Hadoop的集群上动态的添加设备),可扩展,容错,输入格式的松散耦合

Hive的安装步骤

    前奏:hadoop版本2.6.0,hive版本1.2.1(开始安装版本为1.1.1,后发现很多问题,修改为1.2.1),jdk版本1.7

1、下载apache-hive-1.1.1-bin.tar.gz复制到/opt目录下解压tar zxvf apache-hive-1.1.1-bin.tar.gz

2、进入conf目录下,复制template文件

    a) hive-default.xml.template --> hive-default.xml

    b) hive-env.sh.template --> hive-env.sh

    c) hive-log4j.properties.template --> hive-log4j.properties

    d) hive-exec-log4j.properties.template --> hive-exec-log4j.properties

3、修改hive-env.sh文件,打开下面的注释

    a) # export HADOOP_HEAPSIZE=1024

    b) #HADOOP_HOME=/hadoop/hadoop-1.0.4

    c) #export HIVE_CONF_DIR=/hive/hive-0.9.0/conf

4、先启动hadoop,然后进入hive-1.1.1/bin目录下执行./hive

    a) 报错为:Terminal initialization failed; falling back to unsupported,

        具体错误为:

            ERROR] Terminal initialization failed; falling back to unsupported

            java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but              interface was expected

            解决方法:删除位于$HADOOP_HOME/share/hadoop/yarn/lib/jline-0.9.94.jar 的 jline-0.9.94.jar 文件,重新启动hadooop,hive即可

    

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部