文档章节

hive安装总结

Zero零_度
 Zero零_度
发布于 2014/12/12 14:55
字数 751
阅读 21
收藏 0

如果是集群,只需要在一个节点上安装就可以

cd ~/soft/
tar -zxvf hive-0.12.0.tar.gz
mv hive-0.12.0 hive

#vi /etc/profile
export HIVE_HOME=/usr/local/hive
export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HIVE_HOME/bin
#source /etc/profile

cd conf
mv hive-exec-log4j.properties.template hive-exec-log4j.properties
mv hive-log4j.properties.template hive-log4j.properties
mv hive-env.sh.template hive-env.sh
mv hive-default.xml.template hive-default.xml
mv hive-default.xml.template hive-default.xml
mv hive-default.xml.template hive-site.xml

vi hive-site.xml  清空所有内容,只保留<configuration></configuration>,当需要时再添加,或者保留全部,采用默认的配置

指定hive在hdfs上的数据存储目录
<property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/user/hive/warehouse</value>
  <description>location of default database for the warehouse</description>
</property>

指定hive数据临时文件目录
<property>
  <name>hive.exec.scratchdir</name>
  <value>/tmp/hive-${user.name}</value>
  <description>Scratch space for Hive jobs</description>
</property>

本地日志路径【启动的时候,注意观察日志输出情况】
<property>
  <name>hive.querylog.location</name>
  <value>/tmp/${user.name}</value>
  <description>
    Location of Hive run time structured log file
  </description>
</property>

cd bin
echo $JAVA_HOME
echo $HADOOP_HOME

vi hive-config.sh
export JAVA_HOME=/usr/local/jdk
export HIVE_HOME=/usr/local/hive
export HADOOP_HOME=/usr/local/hadoop


hive  执行该命令,进入cli
show databases;
use defualt;
show tables;
create table t1(id int);
show tables;
select * from t1;
quit;

通过集群管理界面,查看创建的表和hdfs的目录对应关系
http://grid131:50070


当hive部署成功后,hive默认的数据库default在hdfs上对应的目录是/user/hive/warehouse

安装遇到问题:
1、敲入hive命令的时候,注意看日志文件报错信息
2、jar包冲突了,hadoop和hive的slf日志包冲突,导致在敲入hive启动的时候,报错。
3、解决办法,删除hadoop日志包。【注意该操作是否会对hbase造成影响】


加载数据:
创建表:
use default;
create table t1(int id);

load data local inpath './onecolumn' into table t1;

注意数据如果出现转换不了的情况,就会出现NULL,例如,aa.txt最后一行是空行

 想要把NULL删除,不行,需要把数据全部删除再重新导入

删除表:
drop table t1;

创建多列的表:
create table t2(id int, name string) row format delimited fields terminated by '\t';
1 aa
2 bb
3 cc

load data local inpath './onecolumn' into table t1;

注意select 列 from table和select * from table,在控制台输出的区别,一个走的是mapreduce、一个走的是全表扫面,截图如下:
 

more a.txt

安装MySQL:
sudo dpkg -i mysql-advanced-5.6.22-debian6.0-i686.deb

sudo apt-get install mysql-server  Ubuntu
sudo yum install mysql-server  Centos

mysql

ps -ef| grep mysql

service mysqld status;
service mysqld start;

mysql -uroot;
show databases;
use mysql;
show tables;

//修改密码
select password, user from user;
update user set password=password('admin');
flush privileges;

mysql -uroot -padmin;
ps -ef| grep mysql

//远程连接
mysql -hgrid132 -uroot -padmin
grant all on *.* to 'root'@'%' identified by 'admin'; flush privileges;

任何客户端用root用户、admin密码登陆的,对任何数据库任何表、视图。。。有权限
grant all on *.* to 'root'@'%' indentified by 'admin'

*.*:所有表、所有数据库 
@'%':所有机器

flush privileges;

//在grid131远程连接grid132
mysql -grid131 -uroot -padmin

 

http://tydldd.iteye.com/blog/1906493

sudo alien libaio-devel-0.3.106-3.2.x86_64.rpm


Ubuntu中apt-get下载的安装包都在哪里呢?

在/var/cache/apt/archives里,里边的安装包可以取出来以备后用。

sudo apt-get install libaio-dev

拷贝mysql驱动包
cp /mnt/software/ hive/lib

 

© 著作权归作者所有

共有 人打赏支持
Zero零_度
粉丝 69
博文 1256
码字总数 257557
作品 0
程序员
私信 提问
hadoop在虚拟机rhl5上的安装总结

#0.前期工作 虚拟机中安装redhat5,并配置主机名hostname=node1,ip=10.0.0.101,hosts列表等。 #1.使用ssh或ftp上传 由于本人使用的是mac,自带了scp命令,此处就使用了更为习惯的scp命令。 sc...

石大千
2014/10/01
0
0
零基础学习hadoop到上手工作线路指导(中级篇)

此篇是在零基础学习hadoop到上手工作线路指导(初级篇)的基础,一个继续总结。 五一假期:在写点内容,也算是总结。上面我们会了基本的编程,我们需要对hadoop有一个更深的理解: hadoop分为...

一枚Sir
2014/08/07
85
0
CentOS 6.9 中 搭建 Hive

解压 hive 安装包 2. 安装 mysql 3. 安装 mysql-connector 4. 建立 mysql-connector 链接 5. 启动 mysql 验证 mysql 服务 是否启动成功 6. 修改 mysql 数据库的 root 用户的密码 7. 配置 Hi...

自东土大唐而来
2018/01/16
0
0
Apache Hive-2.3.0 快速搭建与使用

Hive 简介 Hive 是一个基于 hadoop 的开源数据仓库工具,用于存储和处理海量结构化数据。它把海量数据存储于 hadoop 文件系统,而不是数据库,但提供了一套类数据库的数据存储和处理机制,并...

PengLei
2017/09/22
0
0
DbVisualizer连接Hive数据仓库

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/zt15732625878/article/details/84779581 前言 &nsbp; 小编最近的项目涉及到与大数据平台的对接,少不了要去操...

大白快跑8
2018/12/30
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Python中判断字符串是否包含中文

Python import reRE = re.compile(u'[\u4e00-\u9fa5]', re.UNICODE)match = re.search(RE, str)if match is None:# 没有包含中文字符 参考 Python regular expressions return true/f......

亚林瓜子
3分钟前
0
0
《CNCF × Alibaba 云原生技术公开课》正式首播

《CNCF × Alibaba 云原生技术公开课》立即观看:点击立即观看 云原生最初来描述云上应用的典型架构与特性,随着容器、Kubernetes、Serverless、FaaS技术的演进,CNCF(云原生计算基金会)把...

mcy0425
3分钟前
0
0
网站漏洞如何修复网站程序问题

jeecms 最近被爆出高危网站漏洞,可以导致网站被上传webshell木马文件,受影响的版本是jeecms V6.0版本到jeecmsV7.0版本。该网站系统采用的是JAVA语言开发,数据库使用的是oracle,mysql,sql数...

网站安全
6分钟前
0
0
git 中“warning: CRLF will be replaced by LF in”解决方案

https://stackoverflow.com/questions/5834014/lf-will-be-replaced-by-crlf-in-git-what-is-that-and-is-it-important...

qwfys
11分钟前
0
0
Spring Boot配置ssl证书启用HTTPS协议

一 、点睛 SSL是为网络通信提供安全及数据完整性的一种安全协议,SSL在网络传输层对网络连接进行加密。SSL协议位于TCP/IP协议和各种应用层协议之间,为数据通信提供安全支持。 SSL协议分为两...

故久呵呵
12分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部