文档章节

Hadoop tutorial - 2 - 安装hadoop 2015-3-23

jayronwang
 jayronwang
发布于 2015/03/23 22:32
字数 822
阅读 131
收藏 0
点赞 0
评论 0

工具:

xshell ()

安装包:

hadoop-2.6.0.tar.gz->2.4.1 http://archive.apache.org/dist/hadoop/core/hadoop-2.4.1/

 

----------5/19/2017----------start

 https://archive.apache.org/dist/hadoop/common/hadoop-2.5.0/hadoop-2.5.0.tar.gz

wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u112-b15/jdk-8u112-linux-x64.tar.gzwget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" https://archive.apache.org/dist/hadoop/common/hadoop-2.5.0/hadoop-2.5.0.tar.gz

----------5/19/2017----------end

 

jdk-7u9-linux-i586.tar.gz

后续用到的安装包

hbase-0.94.2.tar.gz

hive-0.9.0.tar.gz

pig-0.10.0.tar.gz

zookeeper-3.4.3.tar.gz

 

添加用户和组

groupadd hadoop

useradd hadoop -g hadoop

切换用户 

su hadoop

退出

exit

 

 

 

JDK安装(root用户下进行安装)

plan a:  rpm

plab b: 解压即可

mkdir /usr/java

tar -zxvf jdk-7u9-linux-i506.tar.gz -C /usr/java

建立链接:

ls -s /usr/java/jdk1.6.0_30 /usr/java/jdk

配置环境变量:

修改vi /etc/profile,在最后添加

export JAVA_HOME=/usr/java/jdk

export PATH=$JAVA_HOME/bin:$PATH

让环境变量生效 source /etc/profile

检查echo $PATH 和java -version

 

 

--------------------------------------------------------------------------

SSH和无密码登录

安装SSH客户端:

yum -y install openssh-clients

=>此时可进行复制虚拟机

ssh master

生成无密码的公私钥对:

ssh-keygen -t rsa

cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

 (以后可以把公钥发给其他机器ssh-copy-id 192.168.137.44)

 

--------------------------------------------------------------------------

 

复制虚拟机

复制->完全复制

vi /etc/sysconfig/network-scripts/ifcfg-eth0

根据虚拟机真实的mac修改 设置-网络,可查看到

DEVICE="eth1"
HWADDR=...
IPADDR=192.168.56.3

eth0改为eht1

mv /etc/sysconfig/network-scripts/ifcfg-eth0 /etc/sysconfig/network-script/ifcfg-eth1

重启网卡

通过以上方法可以复制多个虚拟

 

---------------------------------------------------------------
 

安装hadoop

下载地址 http://archive.apache.org/dist/hadoop/core/stable

解压:

tar -zxvf hadoop-1.0.3.tar.gz -C /opt/ #以前作法是安装在/usr/local,现在一般安装在opt

mv /opt/hadoop-1.0.3 /opt/hadoop  #重命名方便使用

chown -R hadoop:hadoop /opt/hadoop #把文件夹的权限赋给hadoop用户

su hadoop  #在hadoop用户下配置

配置0:

vi /etc/profile

export JAVA_HOME/usr/java/jdk

export HADOOP_HOME=/opt/hadoopp-2.6.0

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

source /etc/profile

 

 

配置1:

hadoop-evn.sh

export JAVA_HOME/usr/java/jdk

 

 配置2:vim core-site.xml (建议用hostname,不用ip)

<configuration>

    <!--指定HDFS的Namenode地址-->

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://192.168.137.2:9000</value>

    </property>

    <!--指定Hadoop运行时产生文件的地址-->

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/opt/hadoop-2.6.0/tmp</value>

    </property>

</configuration>

 

配置3:hdfs-site.xml

<configuration>

<!--HDFS保存数据的副本数量-->

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

</configuration>

 

配置4: mv mapred-site.xml.template mapred-site.xml

<configuration>

<!-- MR运行在YARN上-->

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

</configuration>

 

配置5: yarn-site.xml

<configuration>

    <!-- NodeManager获取数据的方式是shuffle-->

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

    <!--指定YARN的ResourceManager的地址-->

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>master</value>

    </property>

</configuration>

 

hadoop-env.sh

设置JAVA_HOME

 

初始化HDFS

hdfs namenode -format

底下生成tmp文件夹 

 

启动hadoop

./start-all.sh

 

检验-jps命令查看进程

    ResourceManager

    NodeManager

    NameNode

    Jps

    SecondaryNameNode

    DataNode

 

检验-http://192.168.137.2:50070

http://192.168.137.2:50070/dfsnodelist.jsp?whatNodes=LIVE

http://192.168.137.2:50075/browseDirectory.jsp?dir=%2F&go=go&namenodeInfoPort=50070&nnaddr=192.168.137.2%3A9000

http://192.168.137.2:8088

  如果无法访问,需关闭防火墙 service iptables stop

 

 

Error:

Could not get the namenode ID of this node.

hadoop-hdfs-2.6.0.jar(hdfs-default.xml) dfs.ha.namenode.id

原理: http://blog.csdn.net/chenpingbupt/article/details/7922004

  public static String getNameNodeId(Configuration conf, String nsId) {
    String namenodeId = conf.getTrimmed(DFS_HA_NAMENODE_ID_KEY);
    if (namenodeId != null) {
      return namenodeId;
    }
    
    String suffixes[] = DFSUtil.getSuffixIDs(conf, DFS_NAMENODE_RPC_ADDRESS_KEY,
        nsId, null, DFSUtil.LOCAL_ADDRESS_MATCHER);
    if (suffixes == null) {
      String msg = "Configuration " + DFS_NAMENODE_RPC_ADDRESS_KEY + 
          " must be suffixed with nameservice and namenode ID for HA " +
          "configuration.";
      throw new HadoopIllegalArgumentException(msg);
    }
    
    return suffixes[1];
  }

DFS_HA_NAMENODE_ID_KEY = "dfs.ha.namenode.id";

DFS_NAMENODE_RPC_ADDRESS_KEY = "dfs.namenode.rpc-address";

 

请先确保iptables关闭

0 检查各台机子的所有配置文件

1 是否没有配置文件

2 各台机子间的ssh免登录是否正常

 

=>由于namenode配错机子

 

 

Tips:

跨机复制

例如:scp ./id_rsa.pub root@10.28.8.20:/home/hadoop

© 著作权归作者所有

共有 人打赏支持
jayronwang
粉丝 11
博文 94
码字总数 20353
作品 0
厦门
年薪40万的大数据工程师是如何安装Strom

Strom集群的安装配置 主机规划 一、准备服务器 l 关闭防火墙 chkconfig iptables off && setenforce 0 l 创建用户 groupadd hadoop && useradd hadoop  && usermod -a -G hadoop hadoop l ......

爱尚实训 ⋅ 04/23 ⋅ 0

hive之环境搭建

cd ~/soft wget http://mirrors.sohu.com/mysql/MySQL-5.5/MySQL-5.5.46-1.el6.x8664.rpm-bundle.tar [root@hadoop04 hive-0.12.0]# cd /root/app/hive-0.12.0 [root@hadoop04 hive-0.12.0]#......

泡海椒 ⋅ 2016/01/16 ⋅ 0

玩转Ambari之二----基于ubuntu的源码编译和安装

网上关于ambari安装的有很多,有直接从现成的源直接下载安装的,也有自己构建本地源安装的,还有不少自己从apache网站下载源码编译安装的。前两者相对简单,依赖小,期间遇到问题也少,顺利的...

wqhlmark64 ⋅ 2017/10/13 ⋅ 0

Hadoop 2.0 安装向导

Hadoop 2.0 安装向导 (0.23.x) 最新版本的HADOOP2.0与老版本相比有不同的目录结构。 本文将介绍一种简单安装Hadoop2.0到你的电脑上的方法(Hadoop 0.23 安装)。 这有许多可以执行的方式,现...

鉴客 ⋅ 2012/05/30 ⋅ 6

hadoop 部署安装

使用版本为2.7.2 1 安装配置 java ssh 必须安装 2 修改host 均要修改 3 ssh配置各slave节点 与 master节点免密码登录 1.配置SSH 免密码登录 master上设置 cd ~/.ssh # 如果没有该目录,先执行...

thelastday ⋅ 2016/11/17 ⋅ 0

spark implementation hadoop setup,cleanup

def main(args: Array[String]) { 将hdfs数据:zhangsan 1 2015-07-30 20:01:01 127.0.0.1zhangsan 2 2015-07-30 20:01:01 127.0.0.1zhangsan 3 2015-07-30 20:01:01 127.0.0.1zhangsan 4 20......

stark_summer ⋅ 2015/08/11 ⋅ 0

驭象者之Apache Oozie

(1)Apache Oozie是什么? Oozie在英语中的释义指的是:驯象人,驭象者(多指缅甸那边的俗称),这个比喻相对与它的功能来说,还是很恰当的。 Apache Oozie是一个用来管理Hadoop任务的工作流...

九劫散仙 ⋅ 2015/05/19 ⋅ 0

windows 安装 spark 及 pycharm 调试 TopN 实例

首先声明本文搭建的环境为:windows8.1 + spark1.6.0 + python2.7 + jdk8,spark on windows 对 windows及python版本不怎么挑,但是对 spark 版本要求极其苛刻,比如 spark1.6.1 就无法运行。...

xrzs ⋅ 2012/06/28 ⋅ 0

2)zookeeper集群搭建

1.安装zk 解压缩 配置环境变量 export ZOOKEEPER_HOME=/opt/zk export PATH=$ZOOKEEPER_HOME/bin 2.配置zoo.cfg 修改: dataDir=/opt/zk/data 新增: server.0=hadoop001:2888:3888 server.......

JPblog ⋅ 2016/07/25 ⋅ 0

CentOS上Hadoop环境的搭建与管理

CentOS上Hadoop环境的搭建与管理 please down load the attachment 编辑日期:2015年9月1日 实验要求: 完成Hadoop平台安装部署、测试Hadoop平台功能和性能,记录实验过程,提交实验报告。 ...

walkthrough ⋅ 2015/09/04 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

uWSGI + Django @ Ubuntu

创建 Django App Project 创建后, 可以看到路径下有一个wsgi.py的问题 uWSGI运行 直接命令行运行 利用如下命令, 可直接访问 uwsgi --http :8080 --wsgi-file dj/wsgi.py 配置文件 & 运行 [u...

袁祾 ⋅ 32分钟前 ⋅ 0

JVM堆的理解

在JVM中,我们经常提到的就是堆了,堆确实很重要,其实,除了堆之外,还有几个重要的模块,看下图: 大 多数情况下,我们并不需要关心JVM的底层,但是如果了解它的话,对于我们系统调优是非常...

不羁之后 ⋅ 昨天 ⋅ 0

推荐:并发情况下:Java HashMap 形成死循环的原因

在淘宝内网里看到同事发了贴说了一个CPU被100%的线上故障,并且这个事发生了很多次,原因是在Java语言在并发情况下使用HashMap造成Race Condition,从而导致死循环。这个事情我4、5年前也经历...

码代码的小司机 ⋅ 昨天 ⋅ 1

聊聊spring cloud gateway的RetryGatewayFilter

序 本文主要研究一下spring cloud gateway的RetryGatewayFilter GatewayAutoConfiguration spring-cloud-gateway-core-2.0.0.RC2-sources.jar!/org/springframework/cloud/gateway/config/G......

go4it ⋅ 昨天 ⋅ 0

创建新用户和授予MySQL中的权限教程

导读 MySQL是一个开源数据库管理软件,可帮助用户存储,组织和以后检索数据。 它有多种选项来授予特定用户在表和数据库中的细微的权限 - 本教程将简要介绍一些选项。 如何创建新用户 在MySQL...

问题终结者 ⋅ 昨天 ⋅ 0

android -------- 颜色的半透明效果配置

最近有朋友问我 Android 背景颜色的半透明效果配置,我网上看资料,总结了一下, 开发中也是常常遇到的,所以来写篇博客 常用的颜色值格式有: RGB ARGB RRGGBB AARRGGBB 这4种 透明度 透明度...

切切歆语 ⋅ 昨天 ⋅ 0

CentOS开机启动subversion

建立自启动脚本: vim /etc/init.d/subversion 输入如下内容: #!/bin/bash## subversion startup script for the server## chkconfig: 2345 90 10# description: start the subve......

随风而飘 ⋅ 昨天 ⋅ 0

版本控制工具

CSV , SVN , GIT ,VSS

颖伙虫 ⋅ 昨天 ⋅ 0

【2018.06.19学习笔记】【linux高级知识 13.1-13.3】

13.1 设置更改root密码 13.2 连接mysql 13.3 mysql常用命令

lgsxp ⋅ 昨天 ⋅ 0

LVM

LVM: 硬盘划分分区成物理卷->物理卷组成卷组->卷组划分逻辑分区。 1.磁盘分区: fdisk /dev/sdb 划分几个主分区 输入t更改每个分区类型为8e(LVM) 使用partprobe生成分区的文件:如/dev/sd...

ZHENG-JY ⋅ 昨天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部