文档章节

Hadoop、Spark、Hbase、Hive的安装

老佛爷
 老佛爷
发布于 2017/07/22 23:46
字数 2184
阅读 270
收藏 3

        工作中需要使用Hadoop环境,在三节点上搭建了一套Hadoop环境,顺便做下笔记。因为机器内存较低,没有使用CDH,为保证和线上环境一致,使用Hadoop等版本和CDH5.10的一致。

一、环境及软件准备

设置ip地址,hosts,ssh免密登录,scp,sudo,关闭防火墙,yum,ntp时间同步 略。

Java安装 略。

软件选择,这里选择的为CDH5.10中的软件版本。

hadoop-2.6.0.tar.gz
apache-hive-1.1.0-bin.tar.gz
hbase-1.2.0-bin.tar.gz
spark-1.6.0-bin-hadoop2.6.tgz
IP 主机名 节点
192.168.30.100 hadoop1

zk ,NameNode,ResourceManager,NodeManager,

SecondaryNameNode,spark,sparkHistory,HMaster

192.168.30.101 hadoop2 zk,DataNode,NodeManager,spark,HRegionServer
192.168.30.102 hadoop3 zk,DataNode,NodeManager,spark,HRegionServer

二、ZooKeerper 集群安装

1、解压Zookeeper

tar xf zookeeper-3.3.6.tar.gz  -C /home/hadoop
cd /home/hadoop
ln -s zookeeper-3.3.6 zookeeper

2、增加配置文件

(1)bin/zkEnv.sh,配置JDK(可选,如果存在多个JDK)

JAVA_HOME=/home/hadoop/java

(2)进入到zookeeper的conf/中,将zoo_sample.cfg拷贝成zoo.cfg,并添加如下内容:

tickTime=2000
dataDir=/home/hadoop/zookeeper/data
clientPort=2181
initLimit=5
syncLimit=2
server.1=hadoop1:2888:3888
server.2=hadoop2:2888:3888
server.3=hadoop3:2888:3888

3、将zookeeper目录复制到其他节点上。

scp -r /home/hadoop/zookeeper  hadoop@hadoop2:/home/hadoop
scp -r /home/hadoop/zookeeper  hadoop@hadoop3:/home/hadoop

4、添加myid文件(每节点都需要)

mkdir data
echo "1" > data/myid

注意,每个节点myid文件要不一致

5、启动并测试

在3个节点上启动ZK服务

[hadoop@hadoop1 zookeeper]$ bin/zkServer.sh  start
JMX enabled by default
Using config: /home/hadoop/zookeeper-3.3.6/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[hadoop@hadoop1 zookeeper]$ jps -l
10760 sun.tools.jps.Jps
10735 org.apache.zookeeper.server.quorum.QuorumPeerMain

 进入ZK客户端测试

bin/zkCli.sh 

三、Hadoop集群

1、解压软件

tar xf hadoop-2.6.0.tar.gz  
ln -s hadoop-2.6.0 hadoop

2、修改配置文件

(1)、etc/hadoop/hadoop-env.sh,配置JDK(可选,如果存在多个JDK)

export JAVA_HOME=/home/hadoop/java

(2)、core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop1:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoop/data/tmp</value>
    </property>
</configuration>

(3)、hdfs-site.xml

<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/home/hadoop/hadoop/data/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/home/hadoop/hadoop/data/data</value>
    </property>

    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>

    <property>
        <name>dfs.secondary.http.address</name>
        <value>hadoop1:50090</value>
    </property>
</configuration>

(4)、mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

(5)、yarn-site.xml

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop1</value>
    </property>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

(6)、slaves

hadoop1
hadoop2
hadoop3

2、创建目录文件

mkdir -p /home/hadoop/hadoop/data/name
mkdir -p /home/hadoop/hadoop/data/data
mkdir -p /home/hadoop/hadoop/data/tmp

3、复制Hadoop到其他节点

scp -r hadoop hadoop@hadoop2:/home/hadoop
scp -r hadoop hadoop@hadoop3:/home/hadoop

4、/etc/profile.d/hadoop.sh增加环境变量

export HADOOP_HOME=/home/hadoop/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

 5、生效环境变量

source  /etc/profile.d/hadoop.sh

6、初始化HDFS

bin/hadoop namenode -format

7、启动集群

sbin/start-all.sh 

8、测试

bin/hadoop jar /home/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar pi 5 10

求出pi就ok了

JobList   http://hadoop1:8088

Hdfs         http://hadoop1:50070

四、安装Spark

1、安装Scala

tar xf  scala-2.10.6.tgz -C /home/hadoop/
cd /home/hadoop/
ln -s scala-2.10.6 scala

2、复制Scala到其他节点

scp -r scala hadoop@hadoop2:/home/hadoop/
scp -r scala hadoop@hadoop3:/home/hadoop/

3、/etc/profile.d/scala.sh设置环境变量

export SCALA_HOME=/home/hadoop/scala
export PATH=$PATH:$SCALA_HOME/bin

4、解压Spark

tar xf spark-1.6.0-bin-hadoop2.6.tgz -C /home/hadoop
cd /home/hadoop
ln -s spark-1.6.0-bin-hadoop2.6 spark

5、conf/spark-env.sh设置配置文件

export JAVA_HOME=/home/hadoop/java
export SCALA_HOME=/home/hadoop/scala
export HADOOP_HOME=/home/hadoop/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

6、复制到其他节点

scp -r spark hadoop@hadoop2:/home/hadoop/
scp -r spark hadoop@hadoop3:/home/hadoop/

7、/etc/profile.d/spark.sh设置环境变量

export SPARK_HOME=/home/hadoop/spark
export PATH=$PATH:$SPARK_HOME/bin

8、测试

/home/hadoop/spark/bin/spark-submit \
    --class org.apache.spark.examples.SparkPi \
    --master yarn \
    --deploy-mode client \
    --driver-memory 1g \
    --executor-memory 1g \
    --executor-cores 2 \
    /home/hadoop/spark/lib/spark-examples-1.6.0-hadoop2.6.0.jar \
    10

求出pi便ok了

如果使用JDK1.8可能报错

异常关键如下

ERROR client.TransportClient: Failed to send RPC 8305478367380188725 to /192.168.30.102:43246: 

java.lang.IllegalStateException: Spark context stopped while waiting for backend

分析:

按照上述配置提供的信息,目测可能给节点分配的内存太小,yarn直接kill掉了进程,导致ClosedChannelException

解决方案:切换成1.7或修改yarn-site.xml,添加下列property

<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>

<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

然后重启Yarn即可。

9、配置Spark History Server

(1)spark-defaults.conf

spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://hadoop1:9000/history
spark.eventLog.compress          true

spark.eventLog.enabled:是否记录Spark事件,用于应用程序在完成后的筹够WebUI。

spark.eventLog.dir:设置spark.eventLog.enabled为true后,该属性为记录spark时间的根目录。在此根目录中,Spark为每个应用程序创建分目录,并将应用程序的时间记录到此目录中。用户可以将此属性设置为HDFS目录,以便History Server读取。

spark.eventLog.compress:是否压缩记录Spark事件,前提spark.eventLog.enabled为true,默认使用的是snappy。

(2)spark-env.sh

export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=10 -Dspark.history.fs.logDirectory=hdfs://hadoop1:9000/history"

spark.history.ui.port=18080  调整WEBUI访问的端口号为18080

spark.history.fs.logDirectory=hdfs://hadoop1:9000/history  配置了该属性后,在start-history-server.sh时就无需再显示的指定路径

spark.history.retainedApplications=10   指定保存Application历史记录的个数,如果超过这个值,旧的应用程序信息将被删除

(2)创建HDFS目录

hadoop fs -mkdir /history

(3)启动进程 

sbin/start-history-server.sh

SparkHistory  http://hadoop1:18080

五、安装HBase

1、解压

tar xf hbase-1.2.0-bin.tar.gz  -C /home/hadoop
cd /home/hadoop
ln -s hbase-1.2.0 hbase

2、hbase-env.sh

export JAVA_HOME=/home/hadoop/java
//告诉hbase使用外部的zk
export HBASE_MANAGES_ZK=false
export HBASE_PID_DIR=/home/hadoop/hbase/logs

3、hbase-site.xml

<configuration>
    <!-- 指定hbase在HDFS上存储的路径 -->
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://hadoop1:9000/hbase</value>
    </property>
    <!-- 指定hbase是分布式的 -->
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <!-- 指定zk的地址,多个用“,”分割 -->
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>hadoop1:2181,hadoop2:2181,hadoop3:2181</value>
    </property>
</configuration>

4、regionservers

hadoop2
hadoop3

5、复制到其他节点

scp -r  hbase  hadoop@hadoop2:/home/hadoop
scp -r  hbase  hadoop@hadoop3:/home/hadoop

6、/etc/profile.d/hbase.sh设置环境变量

export HBASE_HOME=/home/hadoop/hbase
export PATH=$PATH:$HBASE_HOME/bin

7、启动集群

bin/start-hbase.sh

管理界面  http://hadoop1:16010

六、安装HIVE

1、安装MySql

1、安装MySQL
yum install -y mysql-server
2、启动MySQL
service mysqld start
3、root登录新建新用户
mysql -u root -p
root初始密码为空,输入命令后直接回车即可。
mysql> use mysql;
mysql> update user set password = Password('root') where User = 'root';
mysql> create user 'hive'@'%' identified by 'hive';
mysql> grant all privileges on *.* to 'hive'@'%' with grant option;
mysql> flush privileges;
mysql> exit;
4、创建数据库
mysql> create database hive;

2、解压

tar xf apache-hive-1.1.0-bin.tar.gz  -C /home/hadoop
cd /home/hadoop
ln -s apache-hive-1.1.0-bin  hive
cd hive
cp conf/hive-log4j.properties.template conf/hive-log4j.properties
cp conf/hive-default.xml.template conf/hive-site.xml

3、/etc/profile.d/hive.sh环境变量

export HIVE_HOME=/home/hadoop/hive
export PATH=$HIVE_HOME/bin:$PATH

4、创建Hive数据文件目录:

hadoop fs -mkdir /tmp
hadoop fs -mkdir /user/hive/warehouse
hadoop fs -chmod 777 /tmp
hadoop fs -chmod 777 /user/hive/warehouse

其中/tmp用于存放一些执行过程中的临时文件,/user/hive/warehouse用于存放Hive进行管理的数据文件。

5、配置文件

hive-site.xml(修改如下配置)

<property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
        <description>JDBC connect string for a JDBC metastore</description>
</property>
 
<property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
        <description>Driver class name for a JDBC metastore</description>
</property>
 
<property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>hive</value>
        <description>username to use against metastore database</description>
</property>
 
<property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>hive</value>
        <description>password to use against metastore database</description>
</property>
 
<property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
        <description>location of default database for the warehouse</description>
</property>

6、添加MySql的jar包

wget http://search.maven.org/remotecontent?filepath=mysql/mysql-connector-java/5.1.38/mysql-connector-java-5.1.38.jar
cp mysql-connector-java-5.1.38.jar  /home/hadoop/hive/lib

7、初始化MySql库

bin/schematool -dbType mysql -initSchema

此时可能会报错

java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected

原因是hadoop目录下存在老版本jline,解决方案,将hive下的新版本jline的JAR包拷贝到hadoop下

mv /home/hadoop/hadoop/share/hadoop/yarn/lib/jline-0.9.94.jar  /home/hadoop/hadoop/share/hadoop/yarn/lib/jline-0.9.94.jar.bak
cp  lib/jline-2.12.jar  /home/hadoop/hadoop/share/hadoop/yarn/lib/

8、启动服务

创建临时文件目录

mkdir /home/hadoop/hive/tmp
nohup bin/hive --service hiveserver2 >> tmp/hive-hiveserver2.log 2>&1 &
nohup bin/hive --service metastore >> tmp/hive-metastore.log 2>&1 &

9、启动Shell测试

bin/hive shell

启动报错的话

Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D

搜索hive-site.xml中所有system:java.io.tmpdir,并指定到/home/hadoop/hive/tmp即可

10、安装管理端

HWI的运行需要依赖两个包:hive-hwi-<version>.jar和hive-hwi-<version>.war,这两个包应该都部署在$HIVE_HOME/lib目录下。但Hive的安装包lib目录下可能没有提供hive-hwi-<version>.war,解决办法很简单,下载Hive的源码,进入源码的\hwi\web\目录下,将该目录下的文件夹和文件压缩成zip包,再重命名为hive-hwi-<version>.war,放到$HIVE_HOME/lib目录下即可。

(1)解压apache-hive-1.1.0-src.tar.gz 

tar xf apache-hive-1.1.0-src.tar.gz 

(2)创建压缩文件

cd apache-hive-1.1.0-src/hwi/web
zip -r hive-hwi-1.1.0.war ./*
cp hive-hwi-1.1.0.war  /home/hadoop/hive/lib

(3)hive-site.xml(修改如下配置)

<property>
       <name>hive.hwi.listen.host</name>
       <value>0.0.0.0</value>
</property>
<property>
       <name>hive.hwi.listen.port</name>
       <value>9999</value>
</property>
<property>
       <name>hive.hwi.war.file</name>
       <value>lib/hive-hwi-1.1.0.war</value>
</property>

(4)启动服务 

复制JDK的tool到HIVE的lib目录(不然进入图形会报错)

Unable to find a javac compiler;
com.sun.tools.javac.Main is not on the classpath.
Perhaps JAVA_HOME does not point to the JDK.

 复制JDK的tool到HIVE的lib目录

cp $JAVA_HOME/lib/tools.jar $HIVE_HOME/lib/

 启动服务

nohup bin/hive  --service hwi >> tmp/hive-hwi.log 2>&1 &

管理界面  http://hadoop1:9999/hwi/

© 著作权归作者所有

下一篇: log4j.properties
老佛爷
粉丝 6
博文 76
码字总数 62510
作品 0
上海
后端工程师
私信 提问
HBase实操 | 使用Spark通过BulkLoad快速导入数据到HBase

HBase社区直播本期分享专家:明惠(网名:过往记忆)-阿里云数据架构师 视频地址: https://yq.aliyun.com/live/590?spm=a2c4e.11155435.0.0.460177969kCLxf PPT地址: https://yq.aliyun.com/...

hbase小能手
2018/11/16
0
0
大数据学习系列之九---- Hive整合Spark和HBase以及相关测试

前言 在之前的大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 中介绍了集群的环境搭建,但是在使用hive进行数据查询的时候会非常的慢,因为hive默认使用的引擎是MapRe...

虚无境
2018/08/24
0
0
总结:Hive,Hive on Spark和SparkSQL区别

Hive on Mapreduce Hive的原理大家可以参考这篇大数据时代的技术hive:hive介绍,实际的一些操作可以看这篇笔记:新手的Hive指南,至于还有兴趣看Hive优化方法可以看看我总结的这篇Hive性能优...

hblt-j
01/15
315
0
大数据学习系列 Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解

目录 引言 目录 一、环境选择 1,集群机器安装图 2,配置说明 3,下载地址 二、集群的相关配置 1,主机名更改以及主机和IP做相关映射 2,ssh免登录 3,防火墙关闭 4,时间配置 5,快捷键设置...

董黎明
2018/09/21
126
1
Apache Phoenix 5.0.0 发布,HBase 的 SQL 驱动

Apache Phoenix 5.0.0 已发布,该版本与 HBase 2.0+ 兼容。 Apache Phoenix 为 Apache Hadoop 提供基于 SQL 的 OLTP 和运营分析,使用 Apache HBase 作为其后备存储,并提供与 Apache 生态系...

王练
2018/07/15
1K
3

没有更多内容

加载失败,请刷新页面

加载更多

Spring Boot + Mybatis-Plus 集成与使用(二)

前言: 本章节介绍MyBatis-Puls的CRUD使用。在开始之前,先简单讲解下上章节关于Spring Boot是如何自动配置MyBatis-Plus。 一、自动配置 当Spring Boot应用从主方法main()启动后,首先加载S...

伴学编程
昨天
7
0
用最通俗的方法讲spring [一] ──── AOP

@[TOC](用最通俗的方法讲spring [一] ──── AOP) 写这个系列的目的(可以跳过不看) 自己写这个系列的目的,是因为自己是个比较笨的人,我曾一度怀疑自己的智商不适合干编程这个行业.因为在我...

小贼贼子
昨天
7
0
Flutter系列之在 macOS 上安装和配置 Flutter 开发环境

本文为Flutter开发环境在macOS下安装全过程: 一、系统配置要求 想要安装并运行 Flutter,你的开发环境需要最低满足以下要求: 操作系统:macOS(64位) 磁盘空间:700 MB(不包含 IDE 或其余...

過愙
昨天
6
0
OSChina 周六乱弹 —— 早上儿子问我他是怎么来的

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @凉小生 :#今日歌曲推荐# 少点戾气,愿你和这个世界温柔以待。中岛美嘉的单曲《僕が死のうと思ったのは (曾经我也想过一了百了)》 《僕が死の...

小小编辑
昨天
2.7K
16
Excption与Error包结构,OOM 你遇到过哪些情况,SOF 你遇到过哪些情况

Throwable 是 Java 中所有错误与异常的超类,Throwable 包含两个子类,Error 与 Exception 。用于指示发生了异常情况。 Java 抛出的 Throwable 可以分成三种类型。 被检查异常(checked Exc...

Garphy
昨天
42
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部