文档章节

Hive学习系列二--配置mysql元数据

乔康007
 乔康007
发布于 2016/06/14 10:03
字数 521
阅读 25
收藏 0

1、首先在ubuntu14.04上安装mysql,首先尝试的下载mysql的tar包安装,未成功,然后使用在线安装sudo apt-get install mysql-server mysql-client,安装成功。

2、登录数据库

    a) 创建hive用户,create user hive identified by ‘hive’

    b) 授予所有权限grant all privileges on *.* to ‘hive’ with grant option;

    c) 创建hive数据库,create database ‘hive’

3、下载mysql连接java的驱动,复制到/opt/hive-1.1.1/lib下

4、修改/opt/hive-1.1.1/conf中的hive-default.xml为hive-site.xml

    a) <property>

             <name>javax.jdo.option.ConnectionURL</name>

            <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>

            <description>JDBC connect string for a JDBC metastore</description>

        </property>

    b) <property>

            <name>javax.jdo.option.ConnectionDriverName</name>

            <value>com.mysql.jdbc.Driver</value>

            <description>Driver class name for a JDBC metastore</description>

        </property>

    c) <property>

            <name>javax.jdo.option.ConnectionUserName</name>

            <value>hive</value>

            <description>username to use against metastore database</description>

        </property>

    d) <property>

            <name>javax.jdo.option.ConnectionPassword</name>

            <value>hive</value>

            <description>password to use against metastore database</description>

        </property>

5、启动hadoop,然后启动hive

    a) 启动出现如下错误

         

        解决方法:

                

         

    b) 报错

         

        解决方法

            将a中的相对路径修改为绝对路径。

    6、配置hive环境变量时,修改了linux的etc目录权限为777后,重启linux机器后,

    发现su、sudo等命令无法使用,hadoop启动失败。

    7、重新克隆备份虚拟机,遇到一些问题,如:无密码登录失效,转到root用户失败

        a) Ubuntu 下 su:authentication failure的解决办法

            i. $ sudo passwd root  

            ii. Enter new UNIX password:   

            iii. Retype new UNIX password:   

            iv. passwd: password updated successfully

        b) 重设无密码登录。

            删除/home/hadoop/.ssh后,重新使用ssh-keygen -t rsa -P “” ,只生成两个文件。

            重新创建authorized_keys文件,touch authorized_keys;将公钥复制进去

            cat id_rsa.pub >> authorized_keys,便可无密码登录

        c) 从一台服务器复制到另一台服务器命令:

            scp /home/hadoop/.ssh/id_rsa hadoop@192.168.93.37:/home/hadoop/.ssh/

        d) 创建[外部表]发生错误,提示信息如下图:

                

            查询资料得,create table ... stored by textfile 在hive-1.1.1存在Bug,在1.0.0,

      1.0.1,1.1.0,1.2.0没有问题。Bug地址:http://osdir.com/ml/general/2015-05/msg35094.html

        e) 创建[分区表]报错,提示如下:

            

        语法错误:row format delimited 后面不应该加'\t'

© 著作权归作者所有

乔康007
粉丝 2
博文 15
码字总数 7726
作品 0
海淀
程序员
私信 提问
Hive系列(三)Hive环境安装之MYSQL

前言 前面介绍了Hive的基本环境安装,Hive环境中的Metastore默认存储在自带的derby数据库中,推荐使用MySQL存储Metastore,本篇将介绍安装MySQL来存储MetaStore; Hive系列(二)Hive基本环境安...

u012834750
2018/05/30
0
0
hive安装过程全程解析、hive常规操作、说明

hive安装过程全程解析、hive常规操作、说明 hive相关说明: 1.创建表的操作(create talbe)包含两个步骤:表创建过程和数据加载步骤(这两个过程可以在同一语句中完成) 在数据加载过程中,...

weixin_32265569
2017/06/29
0
0
大数据(Hive-搭建和基本使用)

Hive背景及应用场景 Hive是什么? 由facebook开源,最初用于解决海量结构化的日志数据统计问题; ETL (Extraction-Transformation-Loading )工具 构建在Hadoop之上的数据仓库; 数据计算使...

这很耳东先生
06/27
42
0
hadoop hive hbase 入门学习 (三)

//////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////// hadoop 自学系列 hado......

curiousby
2015/03/12
0
0
hive系列之懵懂

大数据时代的技术hive:hive介绍  首先我们要知道hive到底是做什么的。下面这几段文字很好的描述了hive的特性:   1.hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一...

空_明
2013/12/04
223
0

没有更多内容

加载失败,请刷新页面

加载更多

爬虫可以采集哪些数据?爬虫借用什么代理可以提高效率

学习爬虫的门槛非常低,特别是通过Python学习爬虫,即使是网上也能找到许多学习爬虫的方法,而且爬虫在数据采集方面效果比较好,比如可以采集几万、上百万网页数据进行分析,带来极有价值的数...

xiaotaomi
26分钟前
4
0
redis自建笔记

自建redis笔记 最近在linux安装了一下redis,特做一些笔记! 本文先单节点启动redis,然后再进行持久化配置,在次基础上,再分享搭建主从模式的配置以及Sentinel 哨兵模式及集群的搭建 单节点...

北极之北
27分钟前
4
0
没想到Spring Boot居然这么耗内存,有点惊讶

Spring Boot总体来说,搭建还是比较容易的,特别是Spring Cloud全家桶,简称亲民微服务,但在发展趋势中,容器化技术已经成熟,面对巨耗内存的Spring Boot,小公司表示用不起。如今,很多刚诞...

程序员修BUG
31分钟前
4
0
Spring Security 实战干货:Spring Boot 中的 Spring Security 自动配置初探

1. 前言 我们在前几篇对 Spring Security 的用户信息管理机制,密码机制进行了探讨。我们发现 Spring Security Starter相关的 Servlet 自动配置都在spring-boot-autoconfigure-2.1.9.RELEASE...

码农小胖哥
33分钟前
4
0
Docker 容器时区时间不一致 问题解决

解决方案: 1,最傻瓜也最方便的处理方式,运行新的容器前设置本机时区和时间文件与容器的映射 docker run -v /etc/timezone:/etc/timezone -v /etc/localtime:/etc/localtime ...1 -v /etc/...

突突突酱
34分钟前
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部