文档章节

hadoop 的集群安装 (一)

Guest_Main
 Guest_Main
发布于 2017/06/25 22:57
字数 700
阅读 62
收藏 1

前序,hadoop 有很多版本,apache hadoop,cloudera 的cdh 版 ,hortonworks hdp版,这里记录,apache版 hadoop 安装。 准备

  • 3台centos7 的虚拟机,
  • 在相应的虚拟上安装jdk hadoop 最佳JDK版本
  • 下载文档版本的hadoop hadoop 稳定版下载 (当前的hadoop-2.7.3.tar.gz )
    修改3台主机host 主机分配
    测试环境关闭防火墙和selinux 192.168.126.129 hadoop1
    192.168.126.130 hadoop2
    192.168.126.131 hadoop3

1 安装JDK 参考
2 配置主机之间免密登录 (root 用户)

ssh-keygen -t rsa 
cat  ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys

将authorized_keys 和 id_rsa 考进其他俩台机器 /root/.ssh目录 这样3台主机相互免密登录

3 解压hadoop 压缩包我是解压到/usr/local/下

4 修改hadoop 配置文件
hadoop-env.sh            hadoop的一些环境变量
core-site.xml                hadoop Core的配置,例如HDFS 和 MapReduce的常用IO配置
hdfs-site.xml                hdfs配置项
mapred-site.xml          mapreduce 配置项
slaves                            运行datanode 和 node manager的节点 也就是运行节点机器
yarn-site.xml                YARN配置文件

接下来开始修改 配置文件路径(/usr/local/hadoop-2.7.3/etc/hadoop)

hadoop-env.sh
在文件头部添加jdk安装路径

export JAVA_HOME=/usr/local/jdk 

修改 core-site.xml

<configuration>
  <property>
      <name>fs.defaultFS</name>
      <value>hdfs://hadoop1:9000</value>
  </property>
</configuration>

修改 hdfs-site.xml

<configuration>  
  <property>  
    <name>dfs.replication</name>  
    <value>1</value>  
  </property>    
  <property>  
    <name>dfs.datanode.data.dir</name>  
    <value>file:/data/dfs</value>  
  </property>   
</configuration> 

修改 mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>            

修改 yarn-site.xml

 <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
     </property>
    <property>
         <name>yarn.resourcemanager.hostname</name>
         <value>hadoop1</value>
    </property>


修改 slave 文件

hadoop2
hadoop3

将配置文件复制到其他2台机器

scp hdfs-site.xml hadoop-env.sh core-site.xml mapred-site.xml yarn-site.xml slaves  root@hadoop2:"/usr/local/hadoop-2.7.3/etc/hadoop/"

scp hdfs-site.xml hadoop-env.sh core-site.xml mapred-site.xml yarn-site.xml slaves  root@hadoop3:"/usr/local/hadoop-2.7.3/etc/hadoop/"

5 格式化 hdfs

/usr/local/hadoop-2.7.3/bin/hdfs namenode -format

6 启动hdfs 因配置免密登录,可以在任意主机启动其他节点

/usr/local/hadoop-2.7.3/sbin/start-dfs.sh

此时在各个机器上输入jps 可以看到 hadoop1 启动NameNode SecondaryNameNode 进程
hadoop 2 和 hadoop3 启动datanode 进程
测试下hdfs

/usr/local/hadoop-2.7.3/bin/hadoop fs -mkdir /test
/usr/local/hadoop-2.7.3/bin/hadoop fs -ls /

可以在控制台看到我们刚才创建的test文件夹
也可以通过http://192.168.126.129:50070/dfshealth.html 看到各主机的状态 7 启动YARN

/usr/local/hadoop-2.7.3/sbin/start-yarn.sh 

hadoop 1上会启动 ResourceManager 进程 hadoop2 和 hadoop3 上会启动NodeManager 进程
可以通过http://192.168.126.129:8088/cluster 看集群管理页面

8 wordcount /usr/local/hadoop-2.7.3/bin/hadoop jar hadoop-mapreduce-examples-2.7.3.jar 提供很多example程序
先将本地一个文本文件上传hdfs

/usr/local/hadoop-2.7.3/bin/hadoop fs -put /root/test.txt  /test/

运行 example 的 wordcount

/usr/local/hadoop-2.7.3/bin/hadoop jar /usr/local/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar  wordcount  /test  /mapReduceResult

可以将结果下载下来查看,结果是生成在/mapReduceResult 文件夹下。 ok 到此最简单的集群搭建完成

参考 http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup.html

© 著作权归作者所有

Guest_Main
粉丝 4
博文 3
码字总数 1682
作品 0
北京
后端工程师
Hadoop+Hbase+Zookeeper集群配置

系统版本: CentOS 7.3 最小化安装 软件版本: Hadoop 2.8.0 Hbase 1.3.1 Zookeeper 3.4.9 集群规划: 一、服务器初始配置 (所有服务器执行) 1、按集群规划修改主机名及IP地址。 2、关闭防火...

月夜星魂
2017/07/12
0
0
Ubuntu上Hadoop Mapreduce集群搭建以及程序运行

为了完成计算机综合实验的考核,折腾了三天,终于完成了在Hadoop集群上完成了Mapreduce的实验。但是,后面的考试接踵而至,也就没能及时写下心得,考试结束了。赶紧把过程中的步骤和遇到的困...

找一片天空散步
2013/01/20
0
10
hadoop(05)、使用Eclipse连接远程Hadoop集群

在前面的文中我们分别搭建了单机和集群的Hadoop环境,今天我们将实践使用Eclispe开发工具安装 hadoop的开发插件,并且使用hadoop插件连接Hadoop远程集群,文中有什么不对的地方,请大家指出来...

MaxBill
2017/12/22
0
0
CentOS 64位系统进行Hadoop2.3.0本地编译及完全分布式集群的部署

本文是在小编的博文《 基于Hadoop1.2.1完全分布式集群的部署 》的基础上写作的,所有硬件环境跟之前博文的硬件环境一模一样,因此本文不想再这方面费过多的口舌,关于hosts配置、JDK的安装和...

灯下黑鬼吹灯
2016/11/28
65
0
超详细hadoop发行版安装教程(附图文步骤)

在前几篇的文章中分别就虚拟系统安装、LINUX系统安装以及hadoop运行服务器的设置等内容写了详细的操作教程,本篇分享的是hadoop的下载安装步骤。在此之前有必要做一个简单的说明:分享的所有...

左手的倒影
08/03
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

python标准输入输出

input() 读取键盘输入 input() 函数从标准输入读入一行文本,默认的标准输入是键盘。 input 可以接收一个Python表达式作为输入,并将运算结果返回。 print()和format()输出 format()输出...

colinux
22分钟前
0
0
Python 核心编程 (全)

浅拷贝和深拷贝 1.浅拷贝:是对于一个对象的顶层拷贝,通俗的理解是:拷贝了引用,并没有拷贝内容。相当于把变量里面指向的一个地址给了另一个变量就是浅拷贝,而没有创建一个新的对象,如a...

代码打碟手
34分钟前
0
0
PHP 对象比数组省内存?错!数组比对象省内存?错!

刚刚一个群里有人引出了 PHP 数组和对象占用内存谁多谁少的问题。我想起之前我好像也测试过这个问题,和群里人说的对象比数组节省内存的结论相反,我得出的是数组比对象节省内存。 但今天,我...

宇润
51分钟前
1
0
memcached命令行及其用法

21.5 memcached命令行 创建数据 yum install -y telnet 利用telnet命令连接memcached数据库 telnet 127.0.0.1 11211 #写入数据 set key2 0 30 212STORED 这个是错误的示范,因为0 30 已经...

lyy549745
51分钟前
0
0
Maven私服

Maven私服 一、简介 当多人项目开发的时候,尤其聚合项目开发,项目和项目之间需要有依赖关系,通过maven私服,可以保存互相依赖的jar包,这样的话就可把多个项目整合到一起。 如下图: Inst...

星汉
54分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部