文档章节

HADOOP配置

d
 double大宝
发布于 2017/04/01 01:46
字数 1475
阅读 165
收藏 0

参考 HADOOP权威指南。

三种模式:

    1. 独立模式

  • 没有运行的守护程序,所有程序运行在一个JVM中。适合开发期间运行MapReduce 程序,源于他的易于测试与调试。
  • 本地文件系统  :ubuntu@ubuntu:~$ hadoop fs -ls /

    2. 伪分布式模式

        备份一份配置文件。

ubuntu@ubuntu:/usr/soft/hadoop-2.8.0/etc/hadoop_pesudo$ sudo cp -R hadoop hadoop_pesudo
  • 守护程序运行在本地主机,模拟一个小规模集群。
  • namenode:名称节点,所有文件存放的目录,路径
  • secodnaryNamenode:名称节点的副本、备份节点
  • dataNode:数据节点,存放真正的数据,若干个副本、备份

      ①:core-site.xml:fs.defaultFS 代表名称节点存放的路径,此处存放于本机

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://localhost/</value>
	</property>
</configuration>

       ②. hdfs-site.xml:dfs.replication,副本的数量

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
</configuration>

       ③. mapred-site.xml:mapreduce.framework.name,mapreduce的框架,此处为 yarn

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

       ④. yarn-site.xml:

            yarn.resourcemanager.hostname,yarn的资源管理器

            yarn.nodemanager.aux-services,yarn的节点管理器

<configuration>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>localhost</value>
	</property>
	
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>

    SSH登陆远程主机,无口令提示

ubuntu@ubuntu:/$ sudo apt-get install ssh
ubuntu@ubuntu:/$ ssh-keygen -t rsa -f ~/.ssh/id_rsa
	Generating public/private rsa key pair.
	Created directory '/home/ubuntu/.ssh'.
	Your identification has been saved in /home/ubuntu/.ssh/id_rsa.
	Your public key has been saved in /home/ubuntu/.ssh/id_rsa.pub.
	The key fingerprint is:
	SHA256:s9VWML78zYDt11M0gkVQyd4Z/1EAddodamzc9wGLOzI ubuntu@ubuntu
	The key's randomart image is:
	+---[RSA 2048]----+
	|           .OB+o.|
	|           .*===+|
	|           ooO++X|
	|           o+*.=*|
	|        SE.o* o =|
	|         +o..o ++|
	|        .     o.=|
	|               ..|
	|                 |
	+----[SHA256]-----+
ubuntu@ubuntu:/$ cd ~/.ssh/
ubuntu@ubuntu:~/.ssh$ ls
	id_rsa  id_rsa.pub
ubuntu@ubuntu:~/.ssh$ cat id_rsa.pub >> ~/.ssh/authorized_keys
ubuntu@ubuntu:~/.ssh$ ls
	authorized_keys  id_rsa  id_rsa.pub
ubuntu@ubuntu:~/.ssh$ ssh localhost //第一次yes
	The authenticity of host 'localhost (::1)' can't be established.
	ECDSA key fingerprint is SHA256:8xL3Oghe/VrzZrlEJxaOeqU3w9vRuIQOVMYYBpvxiQ8.
	Are you sure you want to continue connecting (yes/no)? yes
	Warning: Permanently added 'localhost' (ECDSA) to the list of known hosts.
	Welcome to Ubuntu 16.04.2 LTS (GNU/Linux 4.4.0-62-generic x86_64)

	 * Documentation:  https://help.ubuntu.com
	 * Management:     https://landscape.canonical.com
	 * Support:        https://ubuntu.com/advantage

	16 packages can be updated.
	0 updates are security updates.

	Last login: Tue Mar 28 22:54:22 2017
ubuntu@ubuntu:~$ cd ~/.ssh/
ubuntu@ubuntu:~/.ssh$ ls
	authorized_keys  id_rsa  id_rsa.pub  known_hosts
ubuntu@ubuntu:~/.ssh$ exit
	logout
	Connection to localhost closed.
ubuntu@ubuntu:~/.ssh$ ssh localhost //第二次不需要口令

指定配置目录

        方法一:HADOOP_CONF_DIR  //环境变量

        方法二:--conf    //配置参数

格式化文件系统,启动守护程序

    hadoop namenode -format
    start-dfs.sh
    start-yarn.sh
    mr-jobhistory-daemon.sh start historyserver

ubuntu@ubuntu:/usr/soft/hadoop-2.8.0/etc$ sudo chown -R ubuntu /usr/soft/hadoop-2.8.0/
	[sudo] password for ubuntu: 
ubuntu@ubuntu:/usr/soft/hadoop-2.8.0/etc$ hadoop namenode -format
ubuntu@ubuntu:/usr/soft/hadoop-2.8.0/etc$ start-dfs.sh --config /usr/soft/hadoop-2.8.0/etc/hadoop_pesudo
ubuntu@ubuntu:/usr/soft/hadoop-2.8.0/etc$ start-yarn.sh --config /usr/soft/hadoop-2.8.0/etc/hadoop_pesudo
ubuntu@ubuntu:/usr/soft/hadoop-2.8.0/etc$ jps
	9489 SecondaryNameNode
	9812 ResourceManager
	9192 NameNode
	9994 Jps
	9307 DataNode
	9934 NodeManager

守护进程
     1个namenode
     1个secondary namenode
     1个datanode(HDFS)
     1个resourcemanger(RM)
     1个nodemanager(NM)
     1个historyserver(MapReduce)

通过web页面查看
    [nn]    http://localhost:50070/
    [rm]    http://localhost:8088/
    [hs]    http://localhost:19888/

停止守护程序

    stop-dfs.sh
    stop-yarn.sh
    mr-jobhistory-daemon.sh stop historyserver

ubuntu@ubuntu:/usr/soft/hadoop-2.8.0/etc$ stop-yarn.sh 
	stopping yarn daemons
	stopping resourcemanager
	localhost: stopping nodemanager
	localhost: nodemanager did not stop gracefully after 5 seconds: killing with kill -9
	no proxyserver to stop
ubuntu@ubuntu:/usr/soft/hadoop-2.8.0/etc$ stop-dfs.sh 
	Incorrect configuration: namenode address dfs.namenode.servicerpc-address or dfs.namenode.rpc-address is not configured.
	Stopping namenodes on []
	localhost: stopping namenode
	localhost: stopping datanode
	Stopping secondary namenodes [0.0.0.0]
	0.0.0.0: stopping secondarynamenode

可用start-all.sh 代替 start-dfs.sh 和 start-yarn.sh 启动守护进程。

ubuntu@ubuntu:/usr/soft/hadoop-2.8.0/etc$ start-all.sh --config /usr/soft/hadoop-2.8.0/etc/hadoop_pesudo
ubuntu@ubuntu:/usr/soft/hadoop-2.8.0/etc$ jps -l
	11187 org.apache.hadoop.hdfs.server.namenode.NameNode
	11671 org.apache.hadoop.yarn.server.resourcemanager.ResourceManager
	11512 org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode
	12025 sun.tools.jps.Jps
	11306 org.apache.hadoop.hdfs.server.datanode.DataNode
	11789 org.apache.hadoop.yarn.server.nodemanager.NodeManager
ubuntu@ubuntu:/usr/soft/hadoop-2.8.0/etc$ export HADOOP_CONF_DIR=$HADOOP_INSTALL/etc/hadoop_pesudo
ubuntu@ubuntu:/usr/soft/hadoop-2.8.0/etc$ hadoop fs -ls /
ubuntu@ubuntu:/usr/soft/hadoop-2.8.0/etc$ hadoop fs -mkdir /user
ubuntu@ubuntu:/usr/soft/hadoop-2.8.0/etc$ hadoop fs -ls /
Found 1 items
drwxr-xr-x   - ubuntu supergroup          0 2017-03-31 17:59 /user

    3. 完全分布式模式

  • 守护程序运行在多个主机的集群上。

     

            修改客户机的主机名为s1

          sudo nano /etc/hostname

            修改登录提示消息

       sudo nano /etc/passwd

            通过符号链接动态修改配置

        ubuntu@s1:/usr/soft/hadoop-2.8.0/etc$ ln -s hadoop_clutser/ hadoop
		ubuntu@s1:/usr/soft/hadoop-2.8.0/etc$ ll
		    total 20
		    drwxr-xr-x  5 ubuntu dialout 4096 Apr  6 16:57 ./
		    drwxr-xr-x 10 ubuntu dialout 4096 Mar 31 10:58 ../
		    lrwxrwxrwx  1 ubuntu ubuntu    15 Apr  6 16:57 hadoop -> hadoop_clutser//
		    drwxr-xr-x  2 ubuntu dialout 4096 Mar 16 22:31 hadoop_alone/
		    drwxr-xr-x  2 ubuntu ubuntu  4096 Apr  6 16:57 hadoop_clutser/
		    drwxr-xr-x  2 ubuntu root    4096 Mar 31 09:47 hadoop_pesudo/

           克隆三台客户机,并修改主机名,在每个客户机上配置ssh,使得s1能够免密码登录到各个客户机。

		ubuntu@s1:~$ sudo nano /etc/hosts
			127.0.0.1       localhost
			127.0.1.1       ubuntu
			192.168.10.134 s1
			192.168.10.135 s2
			192.168.10.136 s3
			192.168.10.137 s4

            远程复制替换文件

		ubuntu@s1:~$ sudo scp /etc/hosts root@192.168.10.135:/etc/

            报错:Permission denied, please try again.

            原因:ssh默认配置不允许直接通过root用户远程登录

            解决:修改配置文件属性,重启ssh服务

		ubuntu@s2:~$ sudo gedit /etc/ssh/sshd_config
			#PermitRootLogin prohibit-password
			PermitRootLogin yes
		ubuntu@s2:~$ sudo service ssh restart

            配置Hadoop配置文件:

	ubuntu@s1:~$ cd /usr/soft/hadoop-2.8.0/etc/hadoop_clutser/
	ubuntu@s1:/usr/soft/hadoop-2.8.0/etc/hadoop_clutser$ gedit *-site.xml
		core-site.xml
			<configuration>
				<property>
					<name>fs.defaultFS</name>
					<value>hdfs://s1/</value>
				</property>
			</configuration>
			
		hdfs-site.xml
			<configuration>
				<property>
					<name>dfs.replication</name>
					<value>2</value>
				</property>
                <property>
		            <name>dfs.namenode.secondary.http-address</name>
		            <value>s4:50090</value>
		        </property>
			</configuration>
		
		mapred-site.xml
			<configuration>
				<property>
					<name>mapreduce.framework.name</name>
					<value>yarn</value>
				</property>
			</configuration>
			
		yarn-site.xml
			<configuration>
				<property>
					<name>yarn.resourcemanager.hostname</name>
					<value>s1</value>
				</property>
				
				<property>
					<name>yarn.nodemanager.aux-services</name>
					<value>mapreduce_shuffle</value>
				</property>
			</configuration>

        配置主从客户机

	ubuntu@s1:/usr/soft/hadoop-2.8.0/etc/hadoop_clutser$ gedit slaves
		s2
		s3

        远程拷贝配置文件

	ubuntu@s1:/usr/soft/hadoop-2.8.0/etc$ scp -r hadoop_clutser ubuntu@s2:/usr/soft/hadoop-2.8.0/etc/
	ubuntu@s1:/usr/soft/hadoop-2.8.0/etc$ scp -r hadoop_clutser ubuntu@s3:/usr/soft/hadoop-2.8.0/etc/
	ubuntu@s1:/usr/soft/hadoop-2.8.0/etc$ scp -r hadoop_clutser ubuntu@s4:/usr/soft/hadoop-2.8.0/etc/

        格式化名称节点,启动集群

	ubuntu@s1:/$ hadoop namenode -format
	ubuntu@s1:/$ start-all.sh
		This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
		Starting namenodes on [s1]
		s1: starting namenode, logging to /usr/soft/hadoop-2.8.0/logs/hadoop-ubuntu-namenode-s1.out
		s3: starting datanode, logging to /usr/soft/hadoop-2.8.0/logs/hadoop-ubuntu-datanode-s3.out
		s2: starting datanode, logging to /usr/soft/hadoop-2.8.0/logs/hadoop-ubuntu-datanode-s2.out
		Starting secondary namenodes [0.0.0.0]
		0.0.0.0: starting secondarynamenode, logging to /usr/soft/hadoop-2.8.0/logs/hadoop-ubuntu-secondarynamenode-s1.out
		starting yarn daemons
		starting resourcemanager, logging to /usr/soft/hadoop-2.8.0/logs/yarn-ubuntu-resourcemanager-s1.out
		s2: starting nodemanager, logging to /usr/soft/hadoop-2.8.0/logs/yarn-ubuntu-nodemanager-s2.out
		s3: starting nodemanager, logging to /usr/soft/hadoop-2.8.0/logs/yarn-ubuntu-nodemanager-s3.out
	ubuntu@s1:/$ jps
		3282 ResourceManager
		3620 Jps
		2924 NameNode
		3133 SecondaryNameNode
	ubuntu@s1:/$ ssh s2 jps
		1956 NodeManager
		1878 DataNode
		2139 Jps
	ubuntu@s1:/$ ssh s3 jps
		1912 NodeManager
		2106 Jps
		1834 DataNode
	ubuntu@s1:/$ ssh s4 jps
		1897 Jps	


 

© 著作权归作者所有

d
粉丝 2
博文 86
码字总数 43479
作品 0
贵港
私信 提问
CentOS 6.5 搭建Hadoop 1.2.1集群

记录在64位CentOS 6.5环境下搭建Hadoop 2.5.2集群的步骤,同时遇到问题的解决办法,这些记录都仅供参考! 1、操作系统环境配置 1.1、操作系统环境 1.2、关闭防火墙和SELinux 1.2.1、关闭防火...

巴利奇
2018/10/30
0
0
hadoop虚拟机环境配置安装图文教程

前两天看到有人留言问在什么情况下需要部署hadoop,我给的回答也很简单,就是在需要处理海量数据的时候才需要考虑部署hadoop。关于这个问题在很早之前的一篇分享文档也有说到这个问题,数据量...

左手的倒影
2018/07/28
22
0
Hadoop 2.7.5 集群搭建基于CentOS7u3

记录在64位CentOS 7环境下搭建Hadoop 2.7集群的步骤,这些记录都仅供参考! 1、操作系统环境配置 1.1、操作系统环境 1.2、关闭防火墙和SELinux 1.2.1、关闭防火墙 1.2.2、关闭SELinux 注:以...

巴利奇
2018/10/30
0
0
CentOS 6.5 搭建Hadoop 2.5.2集群

记录在64位CentOS 6.5环境下搭建Hadoop 2.5.2集群的步骤,同时遇到问题的解决办法,这些记录都仅供参考! 1、操作系统环境配置 1.1、操作系统环境 主机名 IP地址 角色 Hadoop用户 hadoop-mas...

巴利奇
2018/01/05
0
0
教你玩转Hadoop分布式集群搭建,进击大数据

作者:小哥 终于要开始玩大数据了,之前对haoop生态几乎没有太多的了解,现在赶鸭子上架,需要完全使用它来做数据中心,这是我的haoop第一篇文章,以后估计会写很多大数据相关的文章。 Hado...

小数点
2017/12/06
0
0

没有更多内容

加载失败,请刷新页面

加载更多

哪些情况下适合使用云服务器?

我们一直在说云服务器价格适中,具备弹性扩展机制,适合部署中小规模的网站或应用。那么云服务器到底适用于哪些情况呢?如果您需要经常原始计算能力,那么使用独立服务器就能满足需求,因为他...

云漫网络Ruan
今天
10
0
Java 中的 String 有没有长度限制

转载: https://juejin.im/post/5d53653f5188257315539f9a String是Java中很重要的一个数据类型,除了基本数据类型以外,String是被使用的最广泛的了,但是,关于String,其实还是有很多东西...

低至一折起
今天
23
0
OpenStack 简介和几种安装方式总结

OpenStack :是一个由NASA和Rackspace合作研发并发起的,以Apache许可证授权的自由软件和开放源代码项目。项目目标是提供实施简单、可大规模扩展、丰富、标准统一的云计算管理平台。OpenSta...

小海bug
昨天
11
0
DDD(五)

1、引言 之前学习了解了DDD中实体这一概念,那么接下来需要了解的就是值对象、唯一标识。值对象,值就是数字1、2、3,字符串“1”,“2”,“3”,值时对象的特征,对象是一个事物的具体描述...

MrYuZixian
昨天
9
0
解决Mac下VSCode打开zsh乱码

1.乱码问题 iTerm2终端使用Zsh,并且配置Zsh主题,该主题主题需要安装字体来支持箭头效果,在iTerm2中设置这个字体,但是VSCode里这个箭头还是显示乱码。 iTerm2展示如下: VSCode展示如下: 2...

HelloDeveloper
昨天
10
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部