文档章节

Ubuntu16安装Hadoop2.7.3完全分布式

目光
 目光
发布于 2017/03/21 14:14
字数 690
阅读 55
收藏 0

第一步:

安装java:通过下载官网安装包方式我就不说了,网上很多;现在采用的是ppa(源) 方式安装。

1.添加ppa

sudo add-apt-repository ppa:webupd8team/java

sudo apt-get update

2.安装oracle-java-installer

sudo apt-get install oracle-java8-installer

安装器会提示你同意 oracle 的服务条款,选择 ok

然后选择yes 即可

3.设置系统默认jdk

sudo update-java-alternatives -s java-8-oracle

4.测试jdk 是是否安装成功:

java -version

javac -version

第二步:

更改主机名:

vim /etc/hostname

其他节点都需要更改,然后重启即可

配置hosts文件:

填写好IP地址及其映射名。

设置hadoop用户:

sudo addgroup hadoop
sudo adduser --ingroup hadoop hadoop

用户添加sudo权限:

sudo usermod -aG 超级用户组名  用户名

例子:sudo  usermod -aG sudo hadoop

其中a:表示添加,G:指定组名

第三步:

免密码登录:

ssh-keygen -t rsa
cd ~/.ssh
cp id_rsa.pub authorized_keys

每个节点都运行:

然后把authorized_keys复制到各个节点

scp /home/hadoop/.ssh/authorized_keys hadoop@slave1:~/.ssh/
scp /home/hadoop/.ssh/authorized_keys hadoop@slave2:~/.ssh/

测试: 

ssh master 
ssh slave1
ssh slave2

第四步:

配置Hadoop文件:

我的Hadoop存放位置

/home/hadoop/hadoop273

创建目录

mkdir /home/hadoop/tmp
mkdir /home/hadoop/dfs
mkdir /home/hadoop/dfs/name
mkdir /home/hadoop/dfs/data

配置hadoop-env.sh和yarn-env.sh的java目录

配置slaves

slave1
slave2

配置core-site.xml 

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/hadoop/tmp</value>
        <description>Abase for other temporary   directories.</description>
    </property>
</configuration>

配置hdfs-site.xml

<configuration>
      <property>
                <name>dfs.namenode.secondary.http-address</name>
               <value>master:9001</value>
       </property>
     <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/home/hadoop/dfs/name</value>
       </property>
      <property>
              <name>dfs.datanode.data.dir</name>
              <value>file:/home/hadoop/dfs/data</value>
       </property>
       <property>
               <name>dfs.replication</name>
               <value>2</value>
        </property>
        <property>
                 <name>dfs.webhdfs.enabled</name>
                  <value>true</value>
         </property>
        <property>
                 <name>dfs.permissions</name>
                 <value>false</value>
        </property>
</configuration>

配置mapred-site.xml 

<configuration>
          <property>                                                                    
        <name>mapreduce.framework.name</name>  
                <value>yarn</value>  
           </property>  
          <property>  
                  <name>mapreduce.jobhistory.address</name>  
                  <value>master:10020</value>  
          </property>  
          <property>  
                <name>mapreduce.jobhistory.webapp.address</name>  
                <value>master:19888</value>  
       </property> 
       <property>
                <name>mapred.job.tracker</name>
                <value>master:9001</value>
       </property>
</configuration>

第五步:

格式化hdfs

bin/hadoop  namenode -format

运行Hadoop

./sbin/start-all.sh

检查是否成功

常见问题:

免密码的时候

ssh中“Host key verification failed.“的解决方案

在/etc/ssh/ssh_config

StrictHostKeyChecking no
UserKnownHostsFile /dev/null

出现Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /home/hadoop/2.2.0/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard now的解决方案

vim ~/.bash_profile
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
source ~/.bash_profile

在.bash_profile里添加如上代码 即可。


WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

运行hadoop namenode -format 出现该警告通过如下方法消除了:
在hadoop-env.sh中 修改HADOOP_OPTS:
exportHADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib:$HADOOP_PREFIX/lib/native"

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

© 著作权归作者所有

上一篇: 认识Spark
目光

目光

粉丝 6
博文 42
码字总数 10588
作品 0
昌平
程序员
私信 提问
【Hadoop】最新版本Apache Flume 1.7实践(未完结,待定)

缘起: 既然hadoop用了,然后由于项目目前不是分布式,而是集群环境,导致业务日志每次都需要batch来移,然后再通过hadoop进行分析。 既然如此,不如上一个分布式flume来配合现成的HDFS进行处...

lsttoy
2017/01/09
0
0
Hadoop安装(Hadoop2.7.3)

在Ubantu14.04上部署Hadoop2.7.3 伪分布式集群 01.安装Ubantu14.04(过程略) 02.安装JDK1.8 01)下载JDK1.8,将jdk-8u131-linux-x64.tar.gz上传至ubantu中 02)在根目录下创建soft文件夹,并改变...

小马Ha
2017/07/08
0
0
Hadoop3.1.0完全分布式集群部署超详细记录

Hadoop3.1.0完全分布式集群部署,三台服务器部署结构如下github配置文件源码地址 如上图,一共三台机器作为集群,servera作为master,其他两台作为worker。 2.开始部署-前期准备(三台机器都需...

dream_an
2018/05/09
0
0
大数据(hadoop-Hadoop2.7.3伪分布搭建)

安装准备: vmware10 Centos6.5 64位版本 JDK1.8linux32位版 Hadoop2.7.3版本 安装过程讲解:  字符界面安装centos6.5,网络设置为主机模式或者桥连接  配置静态ip 并测试能不能...

这很耳东先生
04/16
24
0
使用Nginx制作内网yum镜像代理

使用Nginx制作内网yum镜像代理 使用Nginx制作内网yum镜像代理 1. 背景 公司内网服务器不能直接通过Internet上网,但为了与外网通信和同步时间等,会指定那么几台服务器可以访问Internet。这里...

ygqygq2
2017/08/29
0
0

没有更多内容

加载失败,请刷新页面

加载更多

计算机实现原理专题--二进制减法器(二)

在计算机实现原理专题--二进制减法器(一)中说明了基本原理,现准备说明如何来实现。 首先第一步255-b运算相当于对b进行按位取反,因此可将8个非门组成如下图的形式: 由于每次做减法时,我...

FAT_mt
今天
5
0
好程序员大数据学习路线分享函数+map映射+元祖

好程序员大数据学习路线分享函数+map映射+元祖,大数据各个平台上的语言实现 hadoop 由java实现,2003年至今,三大块:数据处理,数据存储,数据计算 存储: hbase --> 数据成表 处理: hive --> 数...

好程序员官方
今天
7
0
tabel 中含有复选框的列 数据理解

1、el-ui中实现某一列为复选框 实现多选非常简单: 手动添加一个el-table-column,设type属性为selction即可; 2、@selection-change事件:选项发生勾选状态变化时触发该事件 <el-table @sel...

everthing
今天
6
0
【技术分享】TestFlight测试的流程文档

上架基本需求资料 1、苹果开发者账号(如还没账号先申请-苹果开发者账号申请教程) 2、开发好的APP 通过本篇教程,可以学习到ios证书申请和打包ipa上传到appstoreconnect.apple.com进行TestF...

qtb999
今天
10
0
再见 Spring Boot 1.X,Spring Boot 2.X 走向舞台中心

2019年8月6日,Spring 官方在其博客宣布,Spring Boot 1.x 停止维护,Spring Boot 1.x 生命周期正式结束。 其实早在2018年7月30号,Spring 官方就已经在博客进行过预告,Spring Boot 1.X 将维...

Java技术剑
今天
18
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部