文档章节

hadoop 的集群安装 (一)

Guest_Main
 Guest_Main
发布于 2017/06/25 22:57
字数 700
阅读 63
收藏 1

前序,hadoop 有很多版本,apache hadoop,cloudera 的cdh 版 ,hortonworks hdp版,这里记录,apache版 hadoop 安装。 准备

  • 3台centos7 的虚拟机,
  • 在相应的虚拟上安装jdk hadoop 最佳JDK版本
  • 下载文档版本的hadoop hadoop 稳定版下载 (当前的hadoop-2.7.3.tar.gz )
    修改3台主机host 主机分配
    测试环境关闭防火墙和selinux 192.168.126.129 hadoop1
    192.168.126.130 hadoop2
    192.168.126.131 hadoop3

1 安装JDK 参考
2 配置主机之间免密登录 (root 用户)

ssh-keygen -t rsa 
cat  ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys

将authorized_keys 和 id_rsa 考进其他俩台机器 /root/.ssh目录 这样3台主机相互免密登录

3 解压hadoop 压缩包我是解压到/usr/local/下

4 修改hadoop 配置文件
hadoop-env.sh            hadoop的一些环境变量
core-site.xml                hadoop Core的配置,例如HDFS 和 MapReduce的常用IO配置
hdfs-site.xml                hdfs配置项
mapred-site.xml          mapreduce 配置项
slaves                            运行datanode 和 node manager的节点 也就是运行节点机器
yarn-site.xml                YARN配置文件

接下来开始修改 配置文件路径(/usr/local/hadoop-2.7.3/etc/hadoop)

hadoop-env.sh
在文件头部添加jdk安装路径

export JAVA_HOME=/usr/local/jdk 

修改 core-site.xml

<configuration>
  <property>
      <name>fs.defaultFS</name>
      <value>hdfs://hadoop1:9000</value>
  </property>
</configuration>

修改 hdfs-site.xml

<configuration>  
  <property>  
    <name>dfs.replication</name>  
    <value>1</value>  
  </property>    
  <property>  
    <name>dfs.datanode.data.dir</name>  
    <value>file:/data/dfs</value>  
  </property>   
</configuration> 

修改 mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>            

修改 yarn-site.xml

 <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
     </property>
    <property>
         <name>yarn.resourcemanager.hostname</name>
         <value>hadoop1</value>
    </property>


修改 slave 文件

hadoop2
hadoop3

将配置文件复制到其他2台机器

scp hdfs-site.xml hadoop-env.sh core-site.xml mapred-site.xml yarn-site.xml slaves  root@hadoop2:"/usr/local/hadoop-2.7.3/etc/hadoop/"

scp hdfs-site.xml hadoop-env.sh core-site.xml mapred-site.xml yarn-site.xml slaves  root@hadoop3:"/usr/local/hadoop-2.7.3/etc/hadoop/"

5 格式化 hdfs

/usr/local/hadoop-2.7.3/bin/hdfs namenode -format

6 启动hdfs 因配置免密登录,可以在任意主机启动其他节点

/usr/local/hadoop-2.7.3/sbin/start-dfs.sh

此时在各个机器上输入jps 可以看到 hadoop1 启动NameNode SecondaryNameNode 进程
hadoop 2 和 hadoop3 启动datanode 进程
测试下hdfs

/usr/local/hadoop-2.7.3/bin/hadoop fs -mkdir /test
/usr/local/hadoop-2.7.3/bin/hadoop fs -ls /

可以在控制台看到我们刚才创建的test文件夹
也可以通过http://192.168.126.129:50070/dfshealth.html 看到各主机的状态 7 启动YARN

/usr/local/hadoop-2.7.3/sbin/start-yarn.sh 

hadoop 1上会启动 ResourceManager 进程 hadoop2 和 hadoop3 上会启动NodeManager 进程
可以通过http://192.168.126.129:8088/cluster 看集群管理页面

8 wordcount /usr/local/hadoop-2.7.3/bin/hadoop jar hadoop-mapreduce-examples-2.7.3.jar 提供很多example程序
先将本地一个文本文件上传hdfs

/usr/local/hadoop-2.7.3/bin/hadoop fs -put /root/test.txt  /test/

运行 example 的 wordcount

/usr/local/hadoop-2.7.3/bin/hadoop jar /usr/local/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar  wordcount  /test  /mapReduceResult

可以将结果下载下来查看,结果是生成在/mapReduceResult 文件夹下。 ok 到此最简单的集群搭建完成

参考 http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup.html

© 著作权归作者所有

Guest_Main
粉丝 4
博文 3
码字总数 1682
作品 0
北京
后端工程师
Hadoop+Hbase+Zookeeper集群配置

系统版本: CentOS 7.3 最小化安装 软件版本: Hadoop 2.8.0 Hbase 1.3.1 Zookeeper 3.4.9 集群规划: 一、服务器初始配置 (所有服务器执行) 1、按集群规划修改主机名及IP地址。 2、关闭防火...

月夜星魂
2017/07/12
0
0
hadoop(05)、使用Eclipse连接远程Hadoop集群

在前面的文中我们分别搭建了单机和集群的Hadoop环境,今天我们将实践使用Eclispe开发工具安装 hadoop的开发插件,并且使用hadoop插件连接Hadoop远程集群,文中有什么不对的地方,请大家指出来...

MaxBill
2017/12/22
0
0
Ubuntu上Hadoop Mapreduce集群搭建以及程序运行

为了完成计算机综合实验的考核,折腾了三天,终于完成了在Hadoop集群上完成了Mapreduce的实验。但是,后面的考试接踵而至,也就没能及时写下心得,考试结束了。赶紧把过程中的步骤和遇到的困...

找一片天空散步
2013/01/20
0
10
CentOS 64位系统进行Hadoop2.3.0本地编译及完全分布式集群的部署

本文是在小编的博文《 基于Hadoop1.2.1完全分布式集群的部署 》的基础上写作的,所有硬件环境跟之前博文的硬件环境一模一样,因此本文不想再这方面费过多的口舌,关于hosts配置、JDK的安装和...

灯下黑鬼吹灯
2016/11/28
65
0
超详细hadoop发行版安装教程(附图文步骤)

在前几篇的文章中分别就虚拟系统安装、LINUX系统安装以及hadoop运行服务器的设置等内容写了详细的操作教程,本篇分享的是hadoop的下载安装步骤。在此之前有必要做一个简单的说明:分享的所有...

左手的倒影
08/03
0
0

没有更多内容

加载失败,请刷新页面

加载更多

deepin系统使用deepin-wine安装exe程序

deepin自带原生deepin-wine使用命令如下: deepin-wine QQBrowser.exedeepin-wine QQMusicSetup.exe 默认安装的快捷方式位置: /root/.wine/drive_c/'Program Files'/Tencent/QQBrowser/......

临江仙卜算子
47分钟前
2
0
快速get到学习Linux操作系统的点

快速get到学习Linux操作系统的点 Linux是一套免费使用和自由传播的类Unix操作系统,是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。Linux能够运行主要的UNIX工具软件...

linuxCool
54分钟前
3
0
聊聊:Linux分区的那些方案

安装linux的整体步骤其实比较简单,唯一可能值得说明的地方,大概就是linux的分区了。 下面来给大家推荐一些分区方案。 1 分两个区 实际上,很多时候我们只需要分两个区:`/`和交换分区,日常...

Linux就该这么学
今天
1
0
适配器模式和外观模式

适配器模式: 将一个类的接口,转换成客户期望的另一个接口。适配器让原本不兼容的类可以合作无间。 例子: //将Enumeration转换成Iteratorpublic class EnumerationIterator implements Iter...

王怀楼
今天
4
0
7-CXF与Spring整合发布webservice

Spring+CXF整合来管理webservice 实现步骤: 1. 添加cxf.jar 包(集成了Spring.jar、servlet.jar ),spring.jar包 ,servlet.jar 包 2. 编写业务类,通过CXF来发布webservice 员工管理: 方法...

江戸川
今天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部