文档章节

Hive 安装

GordonNemo
 GordonNemo
发布于 06/14 11:59
字数 866
阅读 5
收藏 0
点赞 0
评论 0

Hadoop环境搭建:        

       学习:hadoop-2.8.1 Apache Hadoop

       生产环境建议使用: CDH HDP (兼容性非常好)大数据平台里面会用到非常非常多的框架,也会遇到非常多的兼容性的问题,Jar包冲突【跑不掉】,所以不建议很多组合使用Apache版本,建议使用 CDH HDP

统一软件安装包下载路径:http://archive.cloudera.com/cdh5/cdh/5/

       选择统一的cdh5.7.0尾号 ,一定要选择正确

       hadoop-2.6.0-cdh5.7.0.tar.gz

       hive-1.1.0-cdh5.7.0.tar.gz

机器文件部署建议:

机器目录结构相关: hadoop/hadoop 

hadoop000(192.168.199.151)

hadoop001

hadoop002

.........

 

/home/hadoop/

software  存放安装软件

data 存放测试数据

source 存放源代码 

lib  存放相关开发的jar

app  软件安装目录

   tmp 存放HDFS/Kafka/ZK数据目录

maven_repo  maven本地仓库

shell  存放上课相关的脚本

安装部署

下载hive

 wget http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0.tar.gz

可以解压hadoop用户tar -zxvf hive-1.1.0-cdh5.7.0.tar.gz -C ~/app

tar -zxvf hive-1.1.0-cdh5.7.0.tar.gz -C ~/app

 

HIVE_HOME到系统环境变量:

[hadoop@hadoop05 app]$ vi ~/.bash_profile

export HIVE_HOME=/home/hadoop/app/hive-1.1.0-cdh5.7.0

export PATH=$HIVE_HOME/bin:$PATH

[hadoop@hadoop05 app]$ source ~/.bash_profile

[hadoop@hadoop05 app]$ echo $HIVE_HOME

配置文件修改

[hadoop@hadoop05 app]$ cd hive-1.1.0-cdh5.7.0/

[hadoop@hadoop05 hive-1.1.0-cdh5.7.0]$ ls

bin  conf  data  docs  examples  hcatalog  lib  LICENSE  NOTICE  README.txt  RELEASE_NOTES.txt  scripts

[hadoop@hadoop05 hive-1.1.0-cdh5.7.0]$ cd conf

[hadoop@hadoop-01 conf]$ cp hive-env.sh.template hive-env.sh

vi hive-env.sh

    HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0

注意:(当数据库不存在的时候,自动创建数据库)

hive-site.xml

<?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

    <configuration>
        <property>
          <name>javax.jdo.option.ConnectionURL</name>
          <value>jdbc:mysql://localhost:3306/gordon?createDatabaseIfNotExist=true</value>
        </property>
        <property>
          <name>javax.jdo.option.ConnectionDriverName</name>
          <value>com.mysql.jdbc.Driver</value>
        </property>

        <property>
          <name>javax.jdo.option.ConnectionUserName</name>
          <value>root</value>
        </property>

        <property>
          <name>javax.jdo.option.ConnectionPassword</name>
          <value>root</value>
        </property>
    </configuration>

拷贝MySQL驱动包到$HIVE_HOME/lib

拷贝 mysql-connector-java-5.1.27-bin.jar

[hadoop@hadoop-01 ~]$ cd $HIVE_HOME

[hadoop@hadoop-01 hive-1.1.0-cdh5.7.0]$ cd lib

[hadoop@hadoop-01 lib]$ rz mysql-connector-java-5.1.27-bin.jar

[hadoop@hadoop-01 lib]$ ll

-rw-r--r--. 1 hadoop hadoop 872303 Dec 19 17:22 mysql-connector-java-5.1.27-bin.jar

如果没有拷贝MySQL驱动包,启动hive会报错:

    The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH.

    Please check your CLASSPATH specification,

    and the name of the driver。

启动hive

[hadoop@hadoop05 bin]$ ./hive

which: no hbase in (/home/hadoop/app/hive-1.1.0-cdh5.7.0/bin:/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/bin:/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/sbin:/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/bin:/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/sbin:/home/hadoop/app/jdk1.8.0_45/bin:/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin)

 

Logging initialized using configuration in jar:file:/home/hadoop/app/hive-1.1.0-cdh5.7.0/lib/hive-common-1.1.0-cdh5.7.0.jar!/hive-log4j.properties

WARNING: Hive CLI is deprecated and migration to Beeline is recommended.

hive> show tables;

OK

Time taken: 5.125 seconds

 

查看mysql下自动创建了数据库。

mysql> show databases;

+--------------------+

| Database           |

+--------------------+

| information_schema |

| gordon             |

| mysql              |

| performance_schema |

| test               |

+--------------------+

5 rows in set (0.02 sec)

hive下创建一张表

hive> create table xx(id int);

OK

Time taken: 5.38 seconds

hive> show tables;

OK

xx

Time taken: 0.49 seconds, Fetched: 1 row(s)

创建表失败:

    FAILED: Execution Error,

    return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.

    MetaException(message:For direct MetaStore DB

    connections, we don't support retries at the client

    level.)

    思路:找日志

    日志在哪里:$HIVE_HOME/conf/hive-log4j.properties.template

                hive.log.dir=${java.io.tmpdir}/${user.name}

                hive.log.file=hive.log

                问题:能不能改,如何改?

    日志错误:

        ERROR [main]: Datastore.Schema (Log4JLogger.java:error(115)) - An exception was thrown while adding/validating class(es) :

        Specified key was too long; max key length is 767 bytes

        com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Specified key was too long; max key length is 767 bytes

 解决方案:

        alter database ruozedata_basic02 character set latin1;

在Hive中,默认的日志路径是在/tmp底下,一般Linux或者CentOS系统会一个月自动清理一次tmp底下的东西,所以要将日志进行更换位置。

首先需要cp一份hive-log4j.properties文件,在默认安装好Hive后是没有的

可以修改路径:

查看日志可以发现Hive的默认底层是MapReduce

 

© 著作权归作者所有

共有 人打赏支持
GordonNemo
粉丝 4
博文 33
码字总数 55490
作品 0
杭州
架构师
安装配置hive

环境: ubuntu 14.04 hadoop 1.0.1 5.5.46-0ubuntu0.14.04.2 hive 0.9.0 安装配置步骤: 安装mysql sudo apt-get install mysql-serve 在安装过程中会让你配置root用户的密码,去设置的是roo...

z_jordon ⋅ 2015/12/14 ⋅ 0

初始Hive —— 深入浅出学Hive(二)

目录: 初始Hive Hive安装与配置 Hive 内建操作符与函数开发 Hive JDBC hive参数 Hive 高级编程 Hive QL Hive Shell 基本操作 hive 优化 Hive体系结构 Hive的原理 第一部分:软件准备与环境规...

东方神剑 ⋅ 2016/01/13 ⋅ 0

Linux 下 hive 安装配置

hive和hadoop环境配合运行,所以在安装配置hive之前,需要确保hadoop环境已经搭建好并能正常运行,hadoop安装配置可参考(本文使用的是2.1.0版本):http://my.oschina.net/u/574036/blog/7...

驛路梨花醉美 ⋅ 2016/08/18 ⋅ 0

Hive安装与配置

Hive安装配置详解 本文主要是在Hadoop单机模式中演示Hive默认(嵌入式Derby模式)安装配置过程。 1、下载安装包 到官方网站下载最新的安装包,这里以Hive-0.12.0为例: $ tar -zxf hive-0.12...

dreaminthewind ⋅ 2014/05/15 ⋅ 0

在集群上安装Hive

1、先决条件 要求必须已经安装完成Hadoop,Hadoop的安装在之前的博文《VMware下Hadoop 2.4.1完全分布式集群平台安装与设置》有详细介绍过。 2、下载Hive安装包 当前最新版本为0.13.1,可以到...

dwf07223 ⋅ 2014/10/16 ⋅ 0

【Hive】Hive结合MySQL的配置及操作

1、安装MySQL (1)解压mysql安装包: (2)切换到root用户,查询系统中是否已安装mysql: 如果已安装,删除已安装的mysql文件: (3)进入解压好的mysql-libs目录,对root用户赋予执行权限:...

gongxifacai_believe ⋅ 04/28 ⋅ 0

Hive(一):Hive的安装部署

一.首先安装MYSQL。 在安装Hive前,先安装MySQL,以MySQL作为元数据库,默认的元数据库是内嵌的Derby,但因其有单会话限制,所以选用MySQL。 1.首先检查系统中是否已经安装了MySQL。 在终端输...

牧羊人Berg ⋅ 2016/05/29 ⋅ 0

Hive 简易安装

前言 使用交互式安装脚本,只需在主节点操作即可. 脚本自动将代码下发部署到其他远程主机,包括修改环境变量,修改相关配置,集群统一起停等. @Author duangr @Website http://my.oschina.net/d...

一只小逛 ⋅ 2013/12/03 ⋅ 0

Missing Hive Execution Jar: /.../hive-exec-*.jar

运行hive时显示Missing Hive Execution Jar: /usr/hive/hive-0.11.0/bin/lib/hive-exec-*.jar 细细分析这个目录/bin/lib,在hive安装文件夹中这两个目录是并列的,而系统能够找到这样的链接,...

闵开慧 ⋅ 2014/03/26 ⋅ 0

Hive系列(二)Hive环境安装

由于之前的Hadoop集群是用Docker搭建的,所以后面整个大数据环境,本人都会采用Docker构建,Hive环境安装需在之前的Hadoop基础上构建,参考文章如下: Hadoop系列(一)Docker部署Hadoop集群 ...

u012834750 ⋅ 05/29 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

windows profesional 2017 build problem

.net framework .... https://stackoverflow.com/questions/43330915/could-not-load-file-or-assembly-microsoft-build-frameworkvs-2017...

机油战士 ⋅ 39分钟前 ⋅ 0

python3中报错的解决方法(长期更新)

1、ImportError: No module named ‘DjangoUeditor’ 出错原因:安装DjangoUeditor库适用于python2,需要下载适用python3的 下载地址:https://github.com/twz915/DjangoUeditor3 2、python3......

xiaoge2016 ⋅ 44分钟前 ⋅ 0

数据结构与算法之双向链表

一、双向链表 1.双向链表的结点结构 typedef struct DualNode{ ElemType data; struct DualNode *prior; // 前驱结点 struct DualNode *next; // 后继结点}DualNode, *DuL...

aibinxiao ⋅ 今天 ⋅ 0

五大最核心的大数据技术

大数据技术有5个核心部分,数据采集、数据存储、数据清洗、数据挖掘、数据可视化。关于这5个部分,有哪些核心技术?这些技术有哪些潜在价值?看完今天的文章就知道了。 大数据学习群:7165810...

董黎明 ⋅ 今天 ⋅ 0

PhpStorm 头部注释、类注释和函数注释的设置

首先,PhpStorm中文件、类、函数等注释的设置在:setting-》Editor-》FIle and Code Template-》Includes下设置即可,其中方法的默认是这样的: /**${PARAM_DOC}#if (${TYPE_HINT} != "v...

nsns ⋅ 今天 ⋅ 0

spring.net AOP

http://www.springframework.net/doc-latest/reference/html/aop-quickstart.html https://www.cnblogs.com/wujy/archive/2013/04/06/3003120.html...

whoisliang ⋅ 今天 ⋅ 0

【HAVENT原创】创建 Dockerfile 生成新的镜像,并发布到 DockerHub

注意:Win7 与 Win10 的版本存在差异,Win7 版本使用 Docker Quickstart Terminal 进入控制台,Win10下面直接用管理员权限打开控制台或者 PowerShell 即可;另外 Win7 下面只能访问 C盘,/ap...

HAVENT ⋅ 今天 ⋅ 0

pom.xml出现web.xml is missing ...解决方案

提示信息应该能看懂。也就是缺少了web.xml文件,<failOnMissingWebXml>被设置成true了。 搜索了一下,Stack Overflow上的答案解决了问题,分享一下。 目前被顶次数最多的回答原文如下: This...

源哥L ⋅ 今天 ⋅ 0

js时间戳与日期格式之间相互转换

1. 将时间戳转换成日期格式 1 2 3 4 5 6 7 8 9 10 11 12 13 14 // 简单的一句代码 var date = new Date(时间戳); //获取一个时间对象 /** 1. 下面是获取时间日期的方法,需要什么样的格式自己...

Jack088 ⋅ 今天 ⋅ 0

web添加log4j

添加xml配置log4j.properties # Global logging configuration---root日志设置#log4j.rootLogger=info,dailyRollingFile,stdoutlog4j.rootLogger=debug,stdout,dailyRollingFile---......

黄柳淞 ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部