文档章节

Linux下Hive安装

k
 kunping
发布于 2017/01/08 01:32
字数 1114
阅读 37
收藏 0

1、下载apache-hive-2.1.1-bin.tar.gz

2、安装Hive之前,请确保JDK1.7+、MySQL和Hadoop已安装完毕

3、解压apache-hive-2.1.1-bin.tar.gz,并拷贝到/usr/local目录

tar -zxvf apache-hive-2.1.1-bin.tar.gz
mv apache-hive-2.1.1-bin /app/hive

4、配置Hive环境变量,vi /etc/profile,追加以下内容,保存后执行source /etc/profile

HIVE_HOME=/app/hive
export PATH=$PATH:$HIVE_HOME/bin

5、修改Hive配置文件,conf/目录下

cp hive-env.sh.template hive-env.sh
cp hive-default.xml.template hive-site.xml
cp hive-log4j2.properties.template hive-log4j2.properties
cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties

cp llap-cli-log4j2.properties.template llap-cli-log4j2.properties
cp llap-daemon-log4j2.properties.template llap-daemon-log4j2.properties

    1. 修改hive-env.sh

export JAVA_HOME=/app/jdk1.8.0_111
export HADOOP_HOME=/app/hadoop
export HIVE_HOME=/app/hive
export HIVE_CONF_DIR=$HIVE_HOME/conf

    2. 修改hive-site.xml,修改数据库连接参数,这里采用MySQL

<property>
	<name>javax.jdo.option.ConnectionURL</name>
	<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&amp;characterEncoding=UTF-8&amp;useSSL=false
	</value>
</property>
<property>
	<name>javax.jdo.option.ConnectionDriverName</name>
	<value>com.mysql.jdbc.Driver</value>
</property>
<property>
	<name>javax.jdo.option.ConnectionUserName</name>
	<value>root</value>
</property>
<property>
	<name>javax.jdo.option.ConnectionPassword</name>
	<value>123456</value>
</property>

6、将mysql驱动mysql-connector-java-5.1.34.jar拷贝到${HIVE_HOME}/lib目录下

7、初始化元素数据,这里为mysql,默认derby

./schematool -initSchema -dbType mysql

8、启动hive

Hive

 

 

 

常见问题:

    Q:Hive报错信息如下:

         java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7B

    A:修改hive-site.xml,添加${system:java.io.tmpdir}和${system:user.name}

<property>
	<name>system:java.io.tmpdir</name>
	<value>/usr/local/hive-2.1.1/tmp</value>
</property>
<property>
	<name>system:user.name</name>
	<value>hive</value>
</property>

    Q:Hive报错信息如下:

          Caused by: MetaException(message:Version information not found in metastore. )

    A:修改hive-site.xml,将hive.metastore.schema.verification属性值为false,该参数防止架构版本不兼容时的 Metastore 操作。考虑将此设置为“True”,以减少 Metastore 操作期间发生架构损坏的可能性防止架构版本不兼容时的 Metastore 操作。考虑将此设置为“True”,以减少 Metastore 操作期间发生架构损坏的可能性。

    Q:Hive报错信息如下:

         Caused by: java.lang.RuntimeException: Unable to instantiate 

                         org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

    A:打开MySQL,执行如下语句:

use mysql;
set global binlog_format='MIXED';

   Q:Hive报错信息如下:

         Caused by: MetaException(message:Hive metastore database is not initialized. Please use schematool (e.g. ./schematool -initSchema -dbType ...) to create the schema. If needed, don't forget to include the option to auto-create the underlying database in your JDBC connection string (e.g. ?createDatabaseIfNotExist=true for mysql))

    A:执行schema初始化(以MySQL为例)

./schematool -initSchema -dbType mysql

   Q:Hive报错信息如下:

         Container [pid=3680,containerID=container_1483878515419_0001_01_000005] is running beyond virtual memory limits. Current usage: 75.0 MB of 1 GB physical memory used; 2.2 GB of 2.1 GB virtual memory used. Killing container.

    A:修改yarn-site.xml文件中的yarn.nodemanager.vmem-pmem-ratio属性值(默认为2:1,物理内存与虚拟内存比例)

<property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>10</value>
</property>

        具体错误信息如下:

hive> create table t_loginfo as select * from loginfo;
WARNING: Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.
Query ID = root_20170108203354_8b2827b5-0d4b-4d5b-8fff-ceaa784e9030
Total jobs = 3
Launching Job 1 out of 3
Number of reduce tasks is set to 0 since there's no reduce operator
Starting Job = job_1483878515419_0001, Tracking URL = http://localhost:8088/proxy/application_1483878515419_0001/
Kill Command = /usr/local/install_path/hadoop-2.7.3/bin/hadoop job  -kill job_1483878515419_0001
Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 0
2017-01-08 20:35:23,745 Stage-1 map = 0%,  reduce = 0%
2017-01-08 20:35:46,498 Stage-1 map = 100%,  reduce = 0%
2017-01-08 20:35:47,733 Stage-1 map = 0%,  reduce = 0%
2017-01-08 20:35:57,498 Stage-1 map = 100%,  reduce = 0%
Ended Job = job_1483878515419_0001 with errors
Error during job, obtaining debugging information...
Examining task ID: task_1483878515419_0001_m_000000 (and more) from job job_1483878515419_0001

Task with the most failures(4): 
-----
Task ID:
  task_1483878515419_0001_m_000000

URL:
  http://0.0.0.0:8088/taskdetails.jsp?jobid=job_1483878515419_0001&tipid=task_1483878515419_0001_m_000000
-----
Diagnostic Messages for this Task:
Container [pid=3680,containerID=container_1483878515419_0001_01_000005] is running beyond virtual memory limits. Current usage: 75.0 MB of 1 GB physical memory used; 2.2 GB of 2.1 GB virtual memory used. Killing container.
Dump of the process-tree for container_1483878515419_0001_01_000005 :
	|- PID PPID PGRPID SESSID CMD_NAME USER_MODE_TIME(MILLIS) SYSTEM_TIME(MILLIS) VMEM_USAGE(BYTES) RSSMEM_USAGE(PAGES) FULL_CMD_LINE
	|- 3680 3678 3680 3680 (bash) 1 0 108679168 351 /bin/bash -c /usr/local/install_path/jdk1.8.0_111/bin/java -Djava.net.preferIPv4Stack=true -Dhadoop.metrics.log.level=WARN  -Xmx200m -Djava.io.tmpdir=/usr/local/install_path/hadoop-2.7.3/tmp/nm-local-dir/usercache/root/appcache/application_1483878515419_0001/container_1483878515419_0001_01_000005/tmp -Dlog4j.configuration=container-log4j.properties -Dyarn.app.container.log.dir=/usr/local/install_path/hadoop-2.7.3/logs/userlogs/application_1483878515419_0001/container_1483878515419_0001_01_000005 -Dyarn.app.container.log.filesize=0 -Dhadoop.root.logger=INFO,CLA -Dhadoop.root.logfile=syslog org.apache.hadoop.mapred.YarnChild 127.0.0.1 57321 attempt_1483878515419_0001_m_000000_3 5 1>/usr/local/install_path/hadoop-2.7.3/logs/userlogs/application_1483878515419_0001/container_1483878515419_0001_01_000005/stdout 2>/usr/local/install_path/hadoop-2.7.3/logs/userlogs/application_1483878515419_0001/container_1483878515419_0001_01_000005/stderr  
	|- 3685 3680 3680 3680 (java) 370 25 2258333696 18847 /usr/local/install_path/jdk1.8.0_111/bin/java -Djava.net.preferIPv4Stack=true -Dhadoop.metrics.log.level=WARN -Xmx200m -Djava.io.tmpdir=/usr/local/install_path/hadoop-2.7.3/tmp/nm-local-dir/usercache/root/appcache/application_1483878515419_0001/container_1483878515419_0001_01_000005/tmp -Dlog4j.configuration=container-log4j.properties -Dyarn.app.container.log.dir=/usr/local/install_path/hadoop-2.7.3/logs/userlogs/application_1483878515419_0001/container_1483878515419_0001_01_000005 -Dyarn.app.container.log.filesize=0 -Dhadoop.root.logger=INFO,CLA -Dhadoop.root.logfile=syslog org.apache.hadoop.mapred.YarnChild 127.0.0.1 57321 attempt_1483878515419_0001_m_000000_3 5 

Container killed on request. Exit code is 143
Container exited with a non-zero exit code 143


FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
MapReduce Jobs Launched: 
Stage-Stage-1: Map: 1   HDFS Read: 0 HDFS Write: 0 FAIL
Total MapReduce CPU Time Spent: 0 msec

 

© 著作权归作者所有

k
粉丝 3
博文 61
码字总数 29867
作品 0
深圳
私信 提问
Sqoop集成Teradata驱动

Teradata Sqoop部署过程 驱动包下载 下载sqoop-connector-teradata.jar sqoop-connector-teradata-1.6c5.jar 下载teradata jdbc jar terajdbc4.jar tdgssconfig.jar 拷贝至$SQOOP_HOME/lib 配......

Yulong_
2016/11/02
84
0
关于学习Hadoop中未总结的资料

1)Cygwin相关资料   (1)Cygwin上安装、启动ssh服务失败、ssh localhost失败的解决方案   地址:http://blog.163.com/pwcrab/blog/static/16990382220107267443810/   (2)windows...

Carl_
2015/06/25
34
0
Hive系列(二)Hive环境安装

由于之前的Hadoop集群是用Docker搭建的,所以后面整个大数据环境,本人都会采用Docker构建,Hive环境安装需在之前的Hadoop基础上构建,参考文章如下: Hadoop系列(一)Docker部署Hadoop集群 ...

u012834750
2018/05/29
0
0
大数据经典学习路线(及供参考)之 一

1.Linux基础和分布式集群技术 学完此阶段可掌握的核心能力: 熟练使用Linux,熟练安装Linux上的软件,了解熟悉负载均衡、高可靠等集群相关概念,搭建互联网高并发、高可靠的服务架构; 学完此...

柯西带你学编程
2018/05/22
0
0
hadoop在虚拟机rhl5上的安装总结

#0.前期工作 虚拟机中安装redhat5,并配置主机名hostname=node1,ip=10.0.0.101,hosts列表等。 #1.使用ssh或ftp上传 由于本人使用的是mac,自带了scp命令,此处就使用了更为习惯的scp命令。 sc...

石大千
2014/10/01
239
0

没有更多内容

加载失败,请刷新页面

加载更多

只需一步,在Spring Boot中统一Restful API返回值格式与统一处理异常

统一返回值 在前后端分离大行其道的今天,有一个统一的返回值格式不仅能使我们的接口看起来更漂亮,而且还可以使前端可以统一处理很多东西,避免很多问题的产生。 比较通用的返回值格式如下:...

晓月寒丶
昨天
59
0
区块链应用到供应链上的好处和实际案例

区块链可以解决供应链中的很多问题,例如记录以及追踪产品。那么使用区块链应用到各产品供应链上到底有什么好处?猎头悬赏平台解优人才网小编给大家做个简单的分享: 使用区块链的最突出的优...

猎头悬赏平台
昨天
28
0
全世界到底有多少软件开发人员?

埃文斯数据公司(Evans Data Corporation) 2019 最新的统计数据(原文)显示,2018 年全球共有 2300 万软件开发人员,预计到 2019 年底这个数字将达到 2640万,到 2023 年达到 2770万。 而来自...

红薯
昨天
65
0
Go 语言基础—— 通道(channel)

通过通信来共享内存(Java是通过共享内存来通信的) 定义 func service() string {time.Sleep(time.Millisecond * 50)return "Done"}func AsyncService() chan string {retCh := mak......

刘一草
昨天
58
0
Apache Flink 零基础入门(一):基础概念解析

Apache Flink 的定义、架构及原理 Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态或无状态的计算,能够部署在各种集群环境,对各种规模大小的数据进行快速...

Vincent-Duan
昨天
60
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部