文档章节

HIVE+MYSQL+HADOOP环境配置(用于学习)

henni_719
 henni_719
发布于 2017/03/14 17:25
字数 875
阅读 18
收藏 0

注意:一切的操作,都要在root用户下,不然会由于权限问题产生很多问题

Step_1:安装并配置ssh

通过命令:  apt-get install openssh-server 安装SSH 。安装成功后,通过命令:ssh-keygen -t rsa生成秘钥,进入到.ssh目录下执行命令:cp id_rsa.pub authorized_keys  ,操作成功之后执行ssh localhost命令。页面显示如下,说明安装成功。
   

Step_2:安装并设置mysql

在安装mysql前,首先执行命令:apt-get update,命令执行成功后,执行命令:apt-get install mysql-server mysql-client,执行命令之后,安装过程弹出对话框,输入用户密码。安装成功之后,加入密码为:root,执行命令:mysql -u
root -p,会弹出如此啊对话框,输入用户密码:root,进入到mysql页面。
(为了hive创建元数据进行提前设置)创建用户hadoop,设置用户密码:hadoop,赋予用户权限,执行刷新,执行命令如下:
mysql>CREATE USER 'hadoop' IDENTIFIED BY 'hadoop';
mysql>GRANT ALL PRIVILEGES ON *.* TO 'hadoop'@'%' WITH GRANT OPTION;
mysql>flush privileges;

命令执行成功之后,退出,使用用户hadoop进行登录。执行步骤如下:

Step_3:安装并配置JDK环境

打开http://pan.baidu.com/s/1qXYnReG 下载JDK,下载成功,到下载路径下进行解压,解压命令:tar -zxvf jdk-7u79-linux-x64 (1).tar.gz,解压成功后,执行命令:mv jdk-7u79-linux-x64 \(1\)  /usr/local,命令执行成功设置JDK环境,执行gedit ~/.bashrc,打开.bashrc文件,加入命令
export JAVA_HOME=/usr/local/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH

编辑成功,并保存,执行命令:source ~/.bashrc
配置java认证,执行命令如下:
#update-alternatives --install /usr/bin/java java usr/local/jdk1.7.0_79/bin/java 2
# update-alternatives --install /usr/bin/javac javac usr/local/jdk1.7.0_79/bin/javac 2
#update-alternatives --install /usr/bin/jar jar usr/local/jdk1.7.0_79/bin/jar 2
# update-alternatives --set java usr/local/jdk1.7.0_79/bin/java
# update-alternatives --set javac usr/local/jdk1.7.0_79/bin/javac
# update-alternatives --set jar usr/local/jdk1.7.0_79/bin/jar
执行命令之后,在终端输入:java -version,检验是否安装配置成功:


Step_4:安装并配置hadoop

打开http://pan.baidu.com/s/1qXYnReG下载hadoop,由于我是通过共享文件设置,所以在window上解压之后,才到liunx执行移动操作,不过如果下载的是tar.gz的文件,解压步骤如step_3中一致,进入到解压问价下:执行命令:mv hadoop-2.7.3 /usr/local/hadoop,执行成功后,设置hadoop的环境变量执行命令:gedit ~/.bashrc,打开.bashrc文件,在文件中添加,如下命令:
export HADOOP_HOME=/usr/local/hadoop 
export HADOOP_MAPRED_HOME=$HADOOP_HOME 
export HADOOP_COMMON_HOME=$HADOOP_HOME 
export HADOOP_HDFS_HOME=$HADOOP_HOME 
export YARN_HOME=$HADOOP_HOME 
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native 
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

保存成功后,执行source ~/.bashrc

hadoop-env.sh配置如下:

core-site.xml配置如下:

hdfs-site.xml配置设置:

yarn-site.xml配置设置:

mapred-site.xml配置设置

执行完上述配置后,执行命令:





Step_5:安装并配置HIVE

打开http://pan.baidu.com/s/1qXYnReG下载hive,解压文件,执行命令:mv apache-hive-1.2.1-bin /usr/local/hive,设置hive环境,打开.bashrc文件在其中添加如下命令:
export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin
export CLASSPATH=$CLASSPATH:/usr/local/Hadoop/lib/*:.
export CLASSPATH=$CLASSPATH:/usr/local/hive/lib/*:.

设置完成,执行命令:export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin
export CLASSPATH=$CLASSPATH:/usr/local/Hadoop/lib/*:.
export CLASSPATH=$CLASSPATH:/usr/local/hive/lib/*:.

保存成功,执行命令:source ~/.bashrc
hive-env.sh配置信息:

hive-site.xml配置如下:

Step_6:验证HIVE安装

执行名如下:
$ $HADOOP_HOME/bin/hadoop fs -mkdir -p /tmp 
$ $HADOOP_HOME/bin/hadoop fs -mkdir  -p /user/hive/warehouse 
$ $HADOOP_HOME/bin/hadoop fs -chmod g+w /tmp 
$ $HADOOP_HOME/bin/hadoop fs -chmod g+w /user/hive/warehouse



本文转载自:http://blog.csdn.net/henni_719/article/details/52919795

henni_719
粉丝 2
博文 466
码字总数 343938
作品 0
信阳
QA/测试工程师
私信 提问
机器学习实践者福音 新AWS深度学习AMI

  【IT168 资讯】以下为大家介绍两种新的AWS深度学习AMI的可用性:一个基于Conda的AMI,它具有独立的Python环境,它使用了Conda(一个流行的开源软件包和环境管理工具)创建的深度学习框架。还...

it168网站
2017/11/20
0
0
机器学习笔记(一)

说起来感觉不可思议,现在竟然 python 成为人工智能领域的一个最普及的编程语言,原来我学习机器学习时,大家用的是 Matlab 或者 Prolog 。应该是 python 作为主流编程语言之一,由于其简单易...

接灰的电子产品
2017/11/20
0
0
分析几种Hadoop集群部署方式优劣

对hadoop初学者来说,或者说正在使用hadoop的开发者来说,hadoop环境的搭建不是一件省心的事,甚至很多博客上都重要的事说三便“不要花精力在搭建环境之上”,可见很多人在搭建环境时会遇到很...

cpaqyx
2017/06/25
0
0
Flask学习笔记之第一个Flask程序

笔记大纲 最近在学习Flask框架,本系列课程为学习笔记。 大纲: Python环境 创建Flask项目 Debug模式 加载配置文件 Python环境 本系列课程使用anconda的环境,并通过下面代码创建了一个独立的...

罗罗攀
2018/11/13
0
0
Go环境变量配置及系统配置文件的区别

趁周末总结一下对学习和使用go的环境变量的理解。 一、Go环境变量 在学习和使用go的第一步便是下载安装并配置好环境,下载安装过程直接参见go官网指导,这里主要说一下对要配置的环境变量的理...

u012050154
2018/01/13
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Spring Boot + Mybatis-Plus 集成与使用(二)

前言: 本章节介绍MyBatis-Puls的CRUD使用。在开始之前,先简单讲解下上章节关于Spring Boot是如何自动配置MyBatis-Plus。 一、自动配置 当Spring Boot应用从主方法main()启动后,首先加载S...

伴学编程
昨天
7
0
用最通俗的方法讲spring [一] ──── AOP

@[TOC](用最通俗的方法讲spring [一] ──── AOP) 写这个系列的目的(可以跳过不看) 自己写这个系列的目的,是因为自己是个比较笨的人,我曾一度怀疑自己的智商不适合干编程这个行业.因为在我...

小贼贼子
昨天
7
0
Flutter系列之在 macOS 上安装和配置 Flutter 开发环境

本文为Flutter开发环境在macOS下安装全过程: 一、系统配置要求 想要安装并运行 Flutter,你的开发环境需要最低满足以下要求: 操作系统:macOS(64位) 磁盘空间:700 MB(不包含 IDE 或其余...

過愙
昨天
6
0
OSChina 周六乱弹 —— 早上儿子问我他是怎么来的

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @凉小生 :#今日歌曲推荐# 少点戾气,愿你和这个世界温柔以待。中岛美嘉的单曲《僕が死のうと思ったのは (曾经我也想过一了百了)》 《僕が死の...

小小编辑
昨天
2.7K
16
Excption与Error包结构,OOM 你遇到过哪些情况,SOF 你遇到过哪些情况

Throwable 是 Java 中所有错误与异常的超类,Throwable 包含两个子类,Error 与 Exception 。用于指示发生了异常情况。 Java 抛出的 Throwable 可以分成三种类型。 被检查异常(checked Exc...

Garphy
昨天
42
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部