文档章节

Hadoop、Spark、Hbase、Hive的安装

老佛爷
 老佛爷
发布于 2017/07/22 23:46
字数 2184
阅读 242
收藏 3

        工作中需要使用Hadoop环境,在三节点上搭建了一套Hadoop环境,顺便做下笔记。因为机器内存较低,没有使用CDH,为保证和线上环境一致,使用Hadoop等版本和CDH5.10的一致。

一、环境及软件准备

设置ip地址,hosts,ssh免密登录,scp,sudo,关闭防火墙,yum,ntp时间同步 略。

Java安装 略。

软件选择,这里选择的为CDH5.10中的软件版本。

hadoop-2.6.0.tar.gz
apache-hive-1.1.0-bin.tar.gz
hbase-1.2.0-bin.tar.gz
spark-1.6.0-bin-hadoop2.6.tgz
IP 主机名 节点
192.168.30.100 hadoop1

zk ,NameNode,ResourceManager,NodeManager,

SecondaryNameNode,spark,sparkHistory,HMaster

192.168.30.101 hadoop2 zk,DataNode,NodeManager,spark,HRegionServer
192.168.30.102 hadoop3 zk,DataNode,NodeManager,spark,HRegionServer

二、ZooKeerper 集群安装

1、解压Zookeeper

tar xf zookeeper-3.3.6.tar.gz  -C /home/hadoop
cd /home/hadoop
ln -s zookeeper-3.3.6 zookeeper

2、增加配置文件

(1)bin/zkEnv.sh,配置JDK(可选,如果存在多个JDK)

JAVA_HOME=/home/hadoop/java

(2)进入到zookeeper的conf/中,将zoo_sample.cfg拷贝成zoo.cfg,并添加如下内容:

tickTime=2000
dataDir=/home/hadoop/zookeeper/data
clientPort=2181
initLimit=5
syncLimit=2
server.1=hadoop1:2888:3888
server.2=hadoop2:2888:3888
server.3=hadoop3:2888:3888

3、将zookeeper目录复制到其他节点上。

scp -r /home/hadoop/zookeeper  hadoop@hadoop2:/home/hadoop
scp -r /home/hadoop/zookeeper  hadoop@hadoop3:/home/hadoop

4、添加myid文件(每节点都需要)

mkdir data
echo "1" > data/myid

注意,每个节点myid文件要不一致

5、启动并测试

在3个节点上启动ZK服务

[hadoop@hadoop1 zookeeper]$ bin/zkServer.sh  start
JMX enabled by default
Using config: /home/hadoop/zookeeper-3.3.6/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[hadoop@hadoop1 zookeeper]$ jps -l
10760 sun.tools.jps.Jps
10735 org.apache.zookeeper.server.quorum.QuorumPeerMain

 进入ZK客户端测试

bin/zkCli.sh 

三、Hadoop集群

1、解压软件

tar xf hadoop-2.6.0.tar.gz  
ln -s hadoop-2.6.0 hadoop

2、修改配置文件

(1)、etc/hadoop/hadoop-env.sh,配置JDK(可选,如果存在多个JDK)

export JAVA_HOME=/home/hadoop/java

(2)、core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop1:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoop/data/tmp</value>
    </property>
</configuration>

(3)、hdfs-site.xml

<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/home/hadoop/hadoop/data/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/home/hadoop/hadoop/data/data</value>
    </property>

    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>

    <property>
        <name>dfs.secondary.http.address</name>
        <value>hadoop1:50090</value>
    </property>
</configuration>

(4)、mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

(5)、yarn-site.xml

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop1</value>
    </property>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

(6)、slaves

hadoop1
hadoop2
hadoop3

2、创建目录文件

mkdir -p /home/hadoop/hadoop/data/name
mkdir -p /home/hadoop/hadoop/data/data
mkdir -p /home/hadoop/hadoop/data/tmp

3、复制Hadoop到其他节点

scp -r hadoop hadoop@hadoop2:/home/hadoop
scp -r hadoop hadoop@hadoop3:/home/hadoop

4、/etc/profile.d/hadoop.sh增加环境变量

export HADOOP_HOME=/home/hadoop/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

 5、生效环境变量

source  /etc/profile.d/hadoop.sh

6、初始化HDFS

bin/hadoop namenode -format

7、启动集群

sbin/start-all.sh 

8、测试

bin/hadoop jar /home/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar pi 5 10

求出pi就ok了

JobList   http://hadoop1:8088

Hdfs         http://hadoop1:50070

四、安装Spark

1、安装Scala

tar xf  scala-2.10.6.tgz -C /home/hadoop/
cd /home/hadoop/
ln -s scala-2.10.6 scala

2、复制Scala到其他节点

scp -r scala hadoop@hadoop2:/home/hadoop/
scp -r scala hadoop@hadoop3:/home/hadoop/

3、/etc/profile.d/scala.sh设置环境变量

export SCALA_HOME=/home/hadoop/scala
export PATH=$PATH:$SCALA_HOME/bin

4、解压Spark

tar xf spark-1.6.0-bin-hadoop2.6.tgz -C /home/hadoop
cd /home/hadoop
ln -s spark-1.6.0-bin-hadoop2.6 spark

5、conf/spark-env.sh设置配置文件

export JAVA_HOME=/home/hadoop/java
export SCALA_HOME=/home/hadoop/scala
export HADOOP_HOME=/home/hadoop/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

6、复制到其他节点

scp -r spark hadoop@hadoop2:/home/hadoop/
scp -r spark hadoop@hadoop3:/home/hadoop/

7、/etc/profile.d/spark.sh设置环境变量

export SPARK_HOME=/home/hadoop/spark
export PATH=$PATH:$SPARK_HOME/bin

8、测试

/home/hadoop/spark/bin/spark-submit \
    --class org.apache.spark.examples.SparkPi \
    --master yarn \
    --deploy-mode client \
    --driver-memory 1g \
    --executor-memory 1g \
    --executor-cores 2 \
    /home/hadoop/spark/lib/spark-examples-1.6.0-hadoop2.6.0.jar \
    10

求出pi便ok了

如果使用JDK1.8可能报错

异常关键如下

ERROR client.TransportClient: Failed to send RPC 8305478367380188725 to /192.168.30.102:43246: 

java.lang.IllegalStateException: Spark context stopped while waiting for backend

分析:

按照上述配置提供的信息,目测可能给节点分配的内存太小,yarn直接kill掉了进程,导致ClosedChannelException

解决方案:切换成1.7或修改yarn-site.xml,添加下列property

<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>

<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

然后重启Yarn即可。

9、配置Spark History Server

(1)spark-defaults.conf

spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://hadoop1:9000/history
spark.eventLog.compress          true

spark.eventLog.enabled:是否记录Spark事件,用于应用程序在完成后的筹够WebUI。

spark.eventLog.dir:设置spark.eventLog.enabled为true后,该属性为记录spark时间的根目录。在此根目录中,Spark为每个应用程序创建分目录,并将应用程序的时间记录到此目录中。用户可以将此属性设置为HDFS目录,以便History Server读取。

spark.eventLog.compress:是否压缩记录Spark事件,前提spark.eventLog.enabled为true,默认使用的是snappy。

(2)spark-env.sh

export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=10 -Dspark.history.fs.logDirectory=hdfs://hadoop1:9000/history"

spark.history.ui.port=18080  调整WEBUI访问的端口号为18080

spark.history.fs.logDirectory=hdfs://hadoop1:9000/history  配置了该属性后,在start-history-server.sh时就无需再显示的指定路径

spark.history.retainedApplications=10   指定保存Application历史记录的个数,如果超过这个值,旧的应用程序信息将被删除

(2)创建HDFS目录

hadoop fs -mkdir /history

(3)启动进程 

sbin/start-history-server.sh

SparkHistory  http://hadoop1:18080

五、安装HBase

1、解压

tar xf hbase-1.2.0-bin.tar.gz  -C /home/hadoop
cd /home/hadoop
ln -s hbase-1.2.0 hbase

2、hbase-env.sh

export JAVA_HOME=/home/hadoop/java
//告诉hbase使用外部的zk
export HBASE_MANAGES_ZK=false
export HBASE_PID_DIR=/home/hadoop/hbase/logs

3、hbase-site.xml

<configuration>
    <!-- 指定hbase在HDFS上存储的路径 -->
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://hadoop1:9000/hbase</value>
    </property>
    <!-- 指定hbase是分布式的 -->
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <!-- 指定zk的地址,多个用“,”分割 -->
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>hadoop1:2181,hadoop2:2181,hadoop3:2181</value>
    </property>
</configuration>

4、regionservers

hadoop2
hadoop3

5、复制到其他节点

scp -r  hbase  hadoop@hadoop2:/home/hadoop
scp -r  hbase  hadoop@hadoop3:/home/hadoop

6、/etc/profile.d/hbase.sh设置环境变量

export HBASE_HOME=/home/hadoop/hbase
export PATH=$PATH:$HBASE_HOME/bin

7、启动集群

bin/start-hbase.sh

管理界面  http://hadoop1:16010

六、安装HIVE

1、安装MySql

1、安装MySQL
yum install -y mysql-server
2、启动MySQL
service mysqld start
3、root登录新建新用户
mysql -u root -p
root初始密码为空,输入命令后直接回车即可。
mysql> use mysql;
mysql> update user set password = Password('root') where User = 'root';
mysql> create user 'hive'@'%' identified by 'hive';
mysql> grant all privileges on *.* to 'hive'@'%' with grant option;
mysql> flush privileges;
mysql> exit;
4、创建数据库
mysql> create database hive;

2、解压

tar xf apache-hive-1.1.0-bin.tar.gz  -C /home/hadoop
cd /home/hadoop
ln -s apache-hive-1.1.0-bin  hive
cd hive
cp conf/hive-log4j.properties.template conf/hive-log4j.properties
cp conf/hive-default.xml.template conf/hive-site.xml

3、/etc/profile.d/hive.sh环境变量

export HIVE_HOME=/home/hadoop/hive
export PATH=$HIVE_HOME/bin:$PATH

4、创建Hive数据文件目录:

hadoop fs -mkdir /tmp
hadoop fs -mkdir /user/hive/warehouse
hadoop fs -chmod 777 /tmp
hadoop fs -chmod 777 /user/hive/warehouse

其中/tmp用于存放一些执行过程中的临时文件,/user/hive/warehouse用于存放Hive进行管理的数据文件。

5、配置文件

hive-site.xml(修改如下配置)

<property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
        <description>JDBC connect string for a JDBC metastore</description>
</property>
 
<property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
        <description>Driver class name for a JDBC metastore</description>
</property>
 
<property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>hive</value>
        <description>username to use against metastore database</description>
</property>
 
<property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>hive</value>
        <description>password to use against metastore database</description>
</property>
 
<property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
        <description>location of default database for the warehouse</description>
</property>

6、添加MySql的jar包

wget http://search.maven.org/remotecontent?filepath=mysql/mysql-connector-java/5.1.38/mysql-connector-java-5.1.38.jar
cp mysql-connector-java-5.1.38.jar  /home/hadoop/hive/lib

7、初始化MySql库

bin/schematool -dbType mysql -initSchema

此时可能会报错

java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected

原因是hadoop目录下存在老版本jline,解决方案,将hive下的新版本jline的JAR包拷贝到hadoop下

mv /home/hadoop/hadoop/share/hadoop/yarn/lib/jline-0.9.94.jar  /home/hadoop/hadoop/share/hadoop/yarn/lib/jline-0.9.94.jar.bak
cp  lib/jline-2.12.jar  /home/hadoop/hadoop/share/hadoop/yarn/lib/

8、启动服务

创建临时文件目录

mkdir /home/hadoop/hive/tmp
nohup bin/hive --service hiveserver2 >> tmp/hive-hiveserver2.log 2>&1 &
nohup bin/hive --service metastore >> tmp/hive-metastore.log 2>&1 &

9、启动Shell测试

bin/hive shell

启动报错的话

Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D

搜索hive-site.xml中所有system:java.io.tmpdir,并指定到/home/hadoop/hive/tmp即可

10、安装管理端

HWI的运行需要依赖两个包:hive-hwi-<version>.jar和hive-hwi-<version>.war,这两个包应该都部署在$HIVE_HOME/lib目录下。但Hive的安装包lib目录下可能没有提供hive-hwi-<version>.war,解决办法很简单,下载Hive的源码,进入源码的\hwi\web\目录下,将该目录下的文件夹和文件压缩成zip包,再重命名为hive-hwi-<version>.war,放到$HIVE_HOME/lib目录下即可。

(1)解压apache-hive-1.1.0-src.tar.gz 

tar xf apache-hive-1.1.0-src.tar.gz 

(2)创建压缩文件

cd apache-hive-1.1.0-src/hwi/web
zip -r hive-hwi-1.1.0.war ./*
cp hive-hwi-1.1.0.war  /home/hadoop/hive/lib

(3)hive-site.xml(修改如下配置)

<property>
       <name>hive.hwi.listen.host</name>
       <value>0.0.0.0</value>
</property>
<property>
       <name>hive.hwi.listen.port</name>
       <value>9999</value>
</property>
<property>
       <name>hive.hwi.war.file</name>
       <value>lib/hive-hwi-1.1.0.war</value>
</property>

(4)启动服务 

复制JDK的tool到HIVE的lib目录(不然进入图形会报错)

Unable to find a javac compiler;
com.sun.tools.javac.Main is not on the classpath.
Perhaps JAVA_HOME does not point to the JDK.

 复制JDK的tool到HIVE的lib目录

cp $JAVA_HOME/lib/tools.jar $HIVE_HOME/lib/

 启动服务

nohup bin/hive  --service hwi >> tmp/hive-hwi.log 2>&1 &

管理界面  http://hadoop1:9999/hwi/

© 著作权归作者所有

共有 人打赏支持
下一篇: log4j.properties
老佛爷
粉丝 6
博文 75
码字总数 60895
作品 0
上海
后端工程师
私信 提问
HBase实操 | 使用Spark通过BulkLoad快速导入数据到HBase

HBase社区直播本期分享专家:明惠(网名:过往记忆)-阿里云数据架构师 视频地址: https://yq.aliyun.com/live/590?spm=a2c4e.11155435.0.0.460177969kCLxf PPT地址: https://yq.aliyun.com/...

hbase小能手
11/16
0
0
大数据学习系列之九---- Hive整合Spark和HBase以及相关测试

前言 在之前的大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 中介绍了集群的环境搭建,但是在使用hive进行数据查询的时候会非常的慢,因为hive默认使用的引擎是MapRe...

虚无境
08/24
0
0
Apache Phoenix 5.0.0 发布,HBase 的 SQL 驱动

Apache Phoenix 5.0.0 已发布,该版本与 HBase 2.0+ 兼容。 Apache Phoenix 为 Apache Hadoop 提供基于 SQL 的 OLTP 和运营分析,使用 Apache HBase 作为其后备存储,并提供与 Apache 生态系...

王练
07/15
1K
3
大数据学习系列 Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解

目录 引言 目录 一、环境选择 1,集群机器安装图 2,配置说明 3,下载地址 二、集群的相关配置 1,主机名更改以及主机和IP做相关映射 2,ssh免登录 3,防火墙关闭 4,时间配置 5,快捷键设置...

董黎明
09/21
0
0
Hadoop、Spark、HBase与Redis的适用性见解

问题导读: 1.你认为Hadoop适用什么场景? 2.Spark适用于什么场景? 3.HBase与 Redis各有什么特点? 最近在网上又看到有关于Hadoop适用性的讨论[1]。想想今年大数据技术开始由互联网巨头走向...

cuiyaonan2000
05/07
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Rainbond V5.0 Beta公测公告

Rainbond支撑企业应用的开发、架构、交付和运维的全流程,通过“无侵入”架构无缝衔接各类企业应用,底层资源可以对接和管理IaaS、虚拟机和物理服务器 Rainbond V5.0即日起开启Beta版本公测,...

好雨云帮
22分钟前
2
0
Word Pattern(leetcode290)

Given a pattern and a string str, find if str follows the same pattern. Here follow means a full match, such that there is a bijection between a letter in pattern and a non-empt......

woshixin
28分钟前
1
0
Kubernetes 1.13.1快速升级

Kubernetes 1.13.1已经正式发布,快速升级(含国内镜像快速下载链接)包括升级kubeadm/kubectl/kubelet版本、拉取镜像、升级Kubernetes集群三个主要步骤。注意Kubernetes 1.12.3版本暂时不支...

openthings
31分钟前
2
0
多线程的实现方式

多线程是指 一个程序运行时,产生或使用了不止一个线程。 线程的生命周期是怎么样的,下面这张图我们可以看出些端倪: 这章我们主要讨论多线程实现的方式,基础知识部分我们可以下来再恶补。...

搬砖大侠
44分钟前
1
0
新人千万不要在 Windows 上使用 Ruby on Rails

标题:新人千万不要在 Windows 上使用 Ruby on Rails 副标题:鼓励新人在 Linux 和 Mac 上使用 Ruby on Rails ! 原则:要走寻常路,不要学美特斯邦伟! "在 Windows上 使用 Ruby on Rails "是...

Jason909
52分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部