文档章节

hive的安装与使用

Z
 Zoe_2016
发布于 2017/05/08 13:11
字数 926
阅读 51
收藏 0

1.检查集群

该部分的安装需要在 Hadoop 已经成功安装的基础上,并丏要求 Hadoop 已经正常启劢。 Hadoop 正常启劢的验证过程如下:

(1) 使用下面的命令,看可否正常显示 HDFS 上的目录列表

[zoe@master ~]$ hdfs dfs -ls /

(2) 使用浏览器查看相应界面 

http://master:50070

http://master:18088

该页面的结果跟 Hadoop 安装部分浏览器展示结果一致。如果满足上面的两个条件,表示 Hadoop 正常启劢。

 

我们将 Hive 安装在 HadoopMaster 节点上。所以下面的所有操作都在 HadoopMaster 节点上迚行。

下面所有的操作都使用 zoe 用户,切换 zoe 用户的命令是: 

su - zoe / su

密码是:******

 

2.解压并安装 Hive

链接: https://pan.baidu.com/s/1i4Lf3jn 密码: 1d8s

使用下面的命令,解压已经下载好并放到集群上的 Hive 安装包(apache-hive-0.13.1-bin.tar.gz): 

[zoe@master ~]$ tar -zxvf ~/apache-hive-0.13.1-bin.tar.gz

[zoe@master ~]$ cd apache-hive-0.13.1-bin

 

执行一下 ls -l 命令会看到下面的图片所示内容,这些内容是 Hive 包含的文件: 

3.安装配置 MySQL

链接: https://pan.baidu.com/s/1qXPAUWO 密码: z8ec

(见:https://my.oschina.net/u/2977387/blog/891797 这里我就不重复讲了)

 

4.配置 Hive

进入 hive 安装目录下的配置目录,然后修改配置文件: 

[zoe@master ~]$ cd /home/zoe/apache-hive-0.13.1-bin/conf

然后再该目录下创建一个文件 hive-site.xml,命令如下: 

[zoe@master conf]$ gedit ~/apache-hive-0.13.1-bin/conf/

将下面的内容添加到 hive-site.xml 文件中:

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 

<configuration>

<property>

<name>hive.metastore.local</name>

<value>true</value>

</property>

<property>

<name>javax.jdo.option.ConnectionURL</name> 

<value>jdbc:mysql://master:3306/hive_13?characterEncoding=UTF-8</value>

</property>

<property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.jdbc.Driver</value>

</property>

<property>

<name>javax.jdo.option.ConnectionUserName</name>

<value>hadoop</value>

</property>

<property>

<name>javax.jdo.option.ConnectionPassword</name>

<value>hadoop</value>

</property>

</configuration>

『mysql-connector-java-5.1.27.tar』链接: https://pan.baidu.com/s/1qYRne0k 密码: spbp

将 mysql 的 java connector 复制到依赖库中:

[zoe@master ~]$ cd ~/software/

[zoe@master software]$ tar -zxvf ~/software/mysql-connector-java-5.1.27.tar/

[zoe@master software]$ cp ~/software/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar ~/apache-hive-0.13.1-bin/lib/

 

使用下面的命令打开配置:

[zoe@master ~]$ vi ~/.bash_profile

 

将下面两行配置环境变量: 

export HIVE_HOM E=$PWD/apache-hive-0.13.1-bin 

export PATH=$PATH:$HIVE_HOME/bin

 

5.启动并验证 Hive 安装

进入 hive 安装主目录,启劢 hive 客户端: 

[zoe@master apache-0.13.1-bin]$ bin/hive

出现下面的页面表示 hive 部署成功: 

 

6.使用

7.异常

7.1出现异常”The last packet sent successfully to the server was 0 milliseconds ago.“

两种解决异常:“The last packet sent successfully to the server was 0 milliseconds ago. ”的办法

原因:(大部分)由于数据库回收了连接,而系统的缓冲池不知道,继续使用被回收的连接所致的。

The last packet sent successfully to the server was 0 milliseconds ago.[nutch---mysql ]

对于JDBC操作:

原因:

(1)大量数据访问情况下,mysql connection连接有可能失效 
(2)长时间不妨问,connection会失效 

解决:

(1)使用JDBC URL中使用autoReconnect属性,url添加

  1. &autoReconnect=true&failOverReadOnly=false&maxReconnects=10  


(2) 修改MySQL的参数. /etc/my.cnf 添加 

  1. [mysqld]  
  2. wait_timeout=31536000  
  3. interactive_timeout=31536000  


(3)重启mysql 

  1. service mysql restart  

7.2以root身份重启mysql服务是出现异常--找不到PID file

[root@master hadoop]# service mysql restart

MySQL server PID file could not be found!                  [失败]
Starting MySQL..../usr/bin/mysqld_safe: line 181:  3832 Killed                  nohup /usr/sbin/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib/mysql/plugin --user=mysql --log-error=/var/lib/mysql/master.err --pid-file=/var/lib/mysql/master.pid < /dev/null > /dev/null 2>&1
.The server quit without updating PID file (/var/lib/mysql/[失败].pid).

 

[root@master my.cnf.d]# service mysql restart

MySQL server PID file could not be found!                  [失败]
Starting MySQL.....The server quit without updating PID fil[失败]r/lib/mysql/master.pid).

查看mysql服务状态:

[root@master hadoop]# service mysql status

MySQL is not running, but lock file (/var/lock/subsys/mysql[失败]ts

my.cnf丢失,所以要将my.cnf从/usr/my.cnf重新拷贝到/etc/。解决!!

 

© 著作权归作者所有

Z
粉丝 0
博文 36
码字总数 12725
作品 0
广州
私信 提问
hadoop在虚拟机rhl5上的安装总结

#0.前期工作 虚拟机中安装redhat5,并配置主机名hostname=node1,ip=10.0.0.101,hosts列表等。 #1.使用ssh或ftp上传 由于本人使用的是mac,自带了scp命令,此处就使用了更为习惯的scp命令。 sc...

石大千
2014/10/01
239
0
Linux 下 hive 安装配置

hive和hadoop环境配合运行,所以在安装配置hive之前,需要确保hadoop环境已经搭建好并能正常运行,hadoop安装配置可参考(本文使用的是2.1.0版本):http://my.oschina.net/u/574036/blog/7...

驛路梨花醉美
2016/08/18
120
0
[Hadoop大数据]——Hive部署入门教程

Hive是为了解决hadoop中mapreduce编写困难,提供给熟悉sql的人使用的。只要你对SQL有一定的了解,就能通过Hive写出mapreduce的程序,而不需要去学习hadoop中的api。 在部署前需要确认安装jdk...

青夜之衫
2017/12/05
0
0
大数据(Hive-搭建和基本使用)

Hive背景及应用场景 Hive是什么? 由facebook开源,最初用于解决海量结构化的日志数据统计问题; ETL (Extraction-Transformation-Loading )工具 构建在Hadoop之上的数据仓库; 数据计算使...

这很耳东先生
06/27
41
0
HAWQ技术解析(九) —— 外部数据

HAWQ不但可以读写自身系统中的表,而且能够访问HDFS、Hive、HBase等外部系统的数据。这是通过一个名为PXF的扩展框架实现的。大部分外部数据是以HAWQ外部表的形式进行访问的,但对于Hive,除外...

wzy0623
2017/03/23
0
0

没有更多内容

加载失败,请刷新页面

加载更多

无回路有向图的拓扑排序

因公司业务需要,在表单中每个字段都会配置自动计算,但自动计算公式中会引用到其他字段中的值。所以希望可以根据计算公式,优先计算引用的公式。所以最终使用了无回路有向图的扩扑排序来实现...

兜兜毛毛
41分钟前
4
0
如何抢占云栖大会C位?史上最强强强攻略来了

点击观看视频: APSARA云栖大会开发者情怀 原文链接 本文为云栖社区原创内容,未经允许不得转载。

阿里云官方博客
55分钟前
5
0
Kubernetes 从懵圈到熟练:集群服务的三个要点和一种实现

作者 | 声东 阿里云售后技术专家<br /> 文章来源:Docker,点击查看原文。 <br />以我的经验来讲,理解 Kubernetes 集群服务的概念,是比较不容易的一件事情。尤其是当我们基于似是而非的理解...

阿里巴巴云原生
58分钟前
7
0
PHP7.3的新特性

2018年12月6日,PHP7.3正式版发布,在PHP7.2基础上进行了大量错误修复和安全优化,性能提升10%! 从目前的更新说明来看,PHP 7.3 并不是一个主打新特性的版本,包含更多的是 bug 修复。PHP 7...

迅睿CMS-PHP开源CMS程序
今天
7
0
Tomcat 应用中并行流带来的类加载问题

本文首发于 vivo互联网技术 微信公众号 链接:https://mp.weixin.qq.com/s/f-X3n9cvDyU5f5NYH6mhxQ 作者:肖铭轩、王道环 随着 Java8 的不断流行,越来越多的开发人员使用并行流(parallel)...

vivo互联网技术
今天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部