HIVE+MYSQL+HADOOP环境配置(用于学习)

2017/03/14 17:25
阅读数 453

注意:一切的操作,都要在root用户下,不然会由于权限问题产生很多问题

Step_1:安装并配置ssh

通过命令:  apt-get install openssh-server 安装SSH 。安装成功后,通过命令:ssh-keygen -t rsa生成秘钥,进入到.ssh目录下执行命令:cp id_rsa.pub authorized_keys  ,操作成功之后执行ssh localhost命令。页面显示如下,说明安装成功。
   

Step_2:安装并设置mysql

在安装mysql前,首先执行命令:apt-get update,命令执行成功后,执行命令:apt-get install mysql-server mysql-client,执行命令之后,安装过程弹出对话框,输入用户密码。安装成功之后,加入密码为:root,执行命令:mysql -u
root -p,会弹出如此啊对话框,输入用户密码:root,进入到mysql页面。
(为了hive创建元数据进行提前设置)创建用户hadoop,设置用户密码:hadoop,赋予用户权限,执行刷新,执行命令如下:
mysql>CREATE USER 'hadoop' IDENTIFIED BY 'hadoop';
mysql>GRANT ALL PRIVILEGES ON *.* TO 'hadoop'@'%' WITH GRANT OPTION;
mysql>flush privileges;

命令执行成功之后,退出,使用用户hadoop进行登录。执行步骤如下:

Step_3:安装并配置JDK环境

打开http://pan.baidu.com/s/1qXYnReG 下载JDK,下载成功,到下载路径下进行解压,解压命令:tar -zxvf jdk-7u79-linux-x64 (1).tar.gz,解压成功后,执行命令:mv jdk-7u79-linux-x64 \(1\)  /usr/local,命令执行成功设置JDK环境,执行gedit ~/.bashrc,打开.bashrc文件,加入命令
export JAVA_HOME=/usr/local/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH

编辑成功,并保存,执行命令:source ~/.bashrc
配置java认证,执行命令如下:
#update-alternatives --install /usr/bin/java java usr/local/jdk1.7.0_79/bin/java 2
# update-alternatives --install /usr/bin/javac javac usr/local/jdk1.7.0_79/bin/javac 2
#update-alternatives --install /usr/bin/jar jar usr/local/jdk1.7.0_79/bin/jar 2
# update-alternatives --set java usr/local/jdk1.7.0_79/bin/java
# update-alternatives --set javac usr/local/jdk1.7.0_79/bin/javac
# update-alternatives --set jar usr/local/jdk1.7.0_79/bin/jar
执行命令之后,在终端输入:java -version,检验是否安装配置成功:


Step_4:安装并配置hadoop

打开http://pan.baidu.com/s/1qXYnReG下载hadoop,由于我是通过共享文件设置,所以在window上解压之后,才到liunx执行移动操作,不过如果下载的是tar.gz的文件,解压步骤如step_3中一致,进入到解压问价下:执行命令:mv hadoop-2.7.3 /usr/local/hadoop,执行成功后,设置hadoop的环境变量执行命令:gedit ~/.bashrc,打开.bashrc文件,在文件中添加,如下命令:
export HADOOP_HOME=/usr/local/hadoop 
export HADOOP_MAPRED_HOME=$HADOOP_HOME 
export HADOOP_COMMON_HOME=$HADOOP_HOME 
export HADOOP_HDFS_HOME=$HADOOP_HOME 
export YARN_HOME=$HADOOP_HOME 
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native 
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

保存成功后,执行source ~/.bashrc

hadoop-env.sh配置如下:

core-site.xml配置如下:

hdfs-site.xml配置设置:

yarn-site.xml配置设置:

mapred-site.xml配置设置

执行完上述配置后,执行命令:





Step_5:安装并配置HIVE

打开http://pan.baidu.com/s/1qXYnReG下载hive,解压文件,执行命令:mv apache-hive-1.2.1-bin /usr/local/hive,设置hive环境,打开.bashrc文件在其中添加如下命令:
export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin
export CLASSPATH=$CLASSPATH:/usr/local/Hadoop/lib/*:.
export CLASSPATH=$CLASSPATH:/usr/local/hive/lib/*:.

设置完成,执行命令:export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin
export CLASSPATH=$CLASSPATH:/usr/local/Hadoop/lib/*:.
export CLASSPATH=$CLASSPATH:/usr/local/hive/lib/*:.

保存成功,执行命令:source ~/.bashrc
hive-env.sh配置信息:

hive-site.xml配置如下:

Step_6:验证HIVE安装

执行名如下:
$ $HADOOP_HOME/bin/hadoop fs -mkdir -p /tmp 
$ $HADOOP_HOME/bin/hadoop fs -mkdir  -p /user/hive/warehouse 
$ $HADOOP_HOME/bin/hadoop fs -chmod g+w /tmp 
$ $HADOOP_HOME/bin/hadoop fs -chmod g+w /user/hive/warehouse



展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部