文档章节

hadoop伪分布式需修改的配置文件(5个)

fairy1674
 fairy1674
发布于 2018/01/25 20:56
字数 483
阅读 80
收藏 0

Hadoop主要的配置文件

Hadoop的配置文件都放在/HADOOP_HOME/conf

Hadoop配置文件

文件名称

格式

描述

hadoop-env.sh

Bash脚本

记录Hadoop要用的环境变量

core-site.xml

Hadoop配置XML

Hadoop Core的配置项,例如HDFS和MapReduce常用的I/O设置等

hdfs-site.xml

Hadoop配置XML

HDFS守护进程的配置项,包括NameNode、SecondaryNameNode、DataNode等

mapred-site.xml

Hadoop配置XML

MapReduce守护进程的配置项

masters

纯文本

运行SecondaryNameNode的机器列表

slaves

纯文本

运行DataNode和TaskTracker的机器列表(每行一个)

hadoop-metrics.properties

Properties文件

控制metrics在Hadoop和上如何如何发布的属性

log4j.properties

Properties文件

系统日志文件、NameNode审计日志、TaskTracker子进程的任务日志的属性

 

伪分布式修改该配置文件

Hadoop安装时常用的模式是伪分布式模式,

现将常用的配置整理如下:

1 hadoop-env.sh 

添加JAVA_HOME和HADOOP_HOME

export JAVA_HOME=/opt/jdk1.6.0_35

export HADOOP_HOME=/opt/hadoop-0.20.2-cdh3u6

2 core-site.xml

第一个属性用来指定HDFS老大得地址,也就是NameNode的地址

value值是主机名加端口号,如果在host文件中添加了主机名和ip映射,主机名也可以用ip地址替换。。。。。

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
   </property>

第二个属性用来指定hadoop运行时产生文件的路径

<property>
        <name>hadoop.tmp.dir</name>
        <value>/master/hadoop-2.5.2/tmp</value>
 </property>

3 hdfs-site.xml

指定hdfs保存数据的副本数量,如果是2,总共有2份

<property>
        <name>dfs.replication</name>
        <value>1</value>
 </property>

4  mapred-site.xml

原本hadoop文件夹的etc下是没有mapred-site.xml的。。。。 mv mapred-site.xml.template mapred-site.xml

生成一个 mapred-site.xml

告诉hadoop以后mapreduce运行在yarn上面。。。。
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
  </property>

5 yarn-site.xml

添加两个属性,第一个告诉nodemanager获取数据的方式为shuffle

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

第二个指定yarn的老大Resourcemanagger的地址

    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>

© 著作权归作者所有

fairy1674
粉丝 4
博文 99
码字总数 136311
作品 0
成都
程序员
私信 提问
CentOS中Hadoop单机伪分布式配置

5 Hadoop单机配置 首先我们需要为我们的主机名增加IP映射,那么我们需要知道我们的主机名是什么,执行下面命令查看主机名 查看一下HOSTNAME的值,你可以修改这个值,也可以直接将这个值拷贝出...

JinbaoSite
2017/12/24
0
0
Hadoop 2.6.4单节点集群环境搭建

一、软件准备 1. jdk-7u80-linux-x64.tar.gz 2. hadoop-2.6.4.tar.gz 3. ssh客户端(必须安装 ssh 且必须运行 sshd 以便使用 Hadoop 脚本来管理远程的 Hadoop 守护进程, Mac自带有 ssh 客户端...

JackieYeah
2016/04/11
2.4K
0
Hadoop安装详解

一、安装须知 要安装hadoop必须要安装虚拟化软件(VMware或VirtualBox) 网上下载操作系统(ubuntu或centos) CentOS:http://isoredirect.centos.org/centos/7/isos/x8664/CentOS-7-x8664-DV...

刺風
2017/11/27
0
0
Hadoop大数据入门到实战(第二节) - 环境安装(ubuntu)

本小节,我们来安装Hadoop环境。 远程连接工具 为了安装环境我们需要先在Windows下安装一个远程连接的工具来连接Linux虚拟机。这款工具叫做SecureCRT,当然还有很多其他连接工具,不过我觉得...

MasterXiao
2018/07/15
0
0
hadoop2.6.0版本搭建伪分布式环境

由于个人需要在自己的笔记本上搭建hadoop伪分布环境,为了方便自己使用,如想看机器也看之前的一篇博客:hadoop2.6.0版本集群环境搭建 一台虚拟机,配置信息如下: 内存:1G,cpu:一个core,...

stark_summer
2015/02/06
571
2

没有更多内容

加载失败,请刷新页面

加载更多

框架和库的区别

框架和库的区别 框架:是一套完整的解决方案;对项目的侵入性较大,项目如果需要更换框架,则需要重新架构整个项目。 node 中的 express; 库(插件):提供某一个小功能,对项目的侵入性较小...

庭前云落
4分钟前
2
1
基于 Dawn 进行多工程管理

1. 简述 当一个项目中子工程较多时,就会面临「单仓库(Monorepo)」还是「多仓库(Multirepo)」管理的问题。当然两个方式各有优缺点,而我们选择多工程单 Repo 时,能够带来一些管理上的简...

阿里云官方博客
4分钟前
1
0
Joomla 4具有可自定义的HTML电子邮件模板

Joomla 4大约每个月都会发布一个Alpha版本。上个月,我们得到了一个新的管理模板。 Joomla 4的最新版本是Alpha 12。 该版本的主要新特性是可定制的电子邮件模板。您将能够控制从您的网站发送...

六艺网络专注于Joomla
8分钟前
1
0
Idea配置

配置文件idea64.exe.vmoptions -Xms128m, 16 G 内存的机器可尝试设置为 -Xms512m (设置初始的内存数,增加该值可以提高 Java 程序的启动速度。 ) -Xmx750m, 16 G 内存的机器可尝试设置为 ...

行者终成事
10分钟前
2
0
大小仅1MB!超轻量级的人脸识别模型火爆Github

项目地址:https://github.com/Linzaer/Ultra-Light-Fast-Generic-Face-Detector-1MB 近日,用户Linzaer在Github上开源了一款适用于边缘计算设备、移动端设备以及 PC 的超轻量级通用人脸检测...

编程资源库
11分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部