文档章节

【hadoop】6.hadoop配置文件

Areya
 Areya
发布于 01/03 09:19
字数 473
阅读 65
收藏 0

简介

通过本教程您可以学习到

  1. hadoop配置文件的组成;
  2. hadoop配置文件的主要内容。

Hadoop配置文件分两类:

  • 默认配置文件
  • 自定义配置文件

只有用户想修改某一默认配置值时,才需要修改自定义配置文件,更改相应属性值。

1、默认配置文件

(1)默认配置文件:存放在hadoop相应的jar包中。

  • hadoop-common-2.7.2.jar/ core-default.xml
  • hadoop-hdfs-2.7.2.jar/ hdfs-default.xml
  • hadoop-yarn-common-2.7.2.jar/ yarn-default.xml
  • hadoop-mapreduce-client-core-2.7.2.jar/ core-default.xml

通过这些配置文件,我们可以了解到各种配置属性的初始值。例如我们之前在core-site.xml中配置的临时目录的路径以及文件存储协议,在core-site.xml中可以找到对应的配置项,并且了解到其默认值:

···
<property>
  <name>hadoop.tmp.dir</name>
  <value>/tmp/hadoop-${user.name}</value>
  <description>A base for other temporary directories.</description>
</property>
···
<!-- file system properties -->
<property>
  <name>fs.defaultFS</name>
  <value>file:///</value>
  <description>The name of the default file system.  A URI whose
  scheme and authority determine the FileSystem implementation.  The
  uri's scheme determines the config property (fs.SCHEME.impl) naming
  the FileSystem implementation class.  The uri's authority is used to
  determine the host, port, etc. for a filesystem.</description>
</property>
···

这些文档我们可以手动保存下来,也可以在官网查询到具体的信息,在有需求的同时查看对应的配置项默认值及其描述。

2、自定义配置文件

其位置位于${HADOOP_HOME}/etc下,也就是我们用来配置一些覆盖默认属性的配置文件,其名字和默认配置文件的名字一一对应一致。

© 著作权归作者所有

Areya
粉丝 28
博文 97
码字总数 167412
作品 0
广州
私信 提问
Hadoop3.1.0完全分布式集群部署超详细记录

Hadoop3.1.0完全分布式集群部署,三台服务器部署结构如下github配置文件源码地址 如上图,一共三台机器作为集群,servera作为master,其他两台作为worker。 2.开始部署-前期准备(三台机器都需...

dream_an
2018/05/09
0
0
大数据之hadoop早课10.11

1.jps命令是来自哪里的 2.jps 发现不可用信息,我们应该怎么办 3.pid文件默认存储哪里?哪个文件修改 4.pid文件人为或Linux系统自动清理,那么会影响服务的正常运行吗? 那么又影响什么呢 5....

hnairdb
2018/10/17
6
0
hadoop0.20.2集群搭建 Ubuntu14.04 环境

配前准备 一. 安装环境:Ubuntu 14.04 ---------一共三台机器 其中一台namenode+jobtracker (master) , 两台 datanode + tasktracker(hadoop, salve1) 下表为各个机器的具体内容 ip usernam...

tantairs
2015/01/11
685
7
金融行业hadoop硬件方案咨询

我们有这样一个需求金融行业某项目,需要保存大量图片与视频及文件。 目标数据量是20T,200并发要求1分钟下载完100M的文件(带宽10M)。 有以下问题: 1.首先问hdfs是否适合保存图片、视频,...

春末夏初的悸动
2014/12/06
333
4
HA 模式下的 Hadoop2.7.4+ZooKeeper3.4.10搭建

一、概述 本次实验采用VMware虚拟机,linux版本为CentOS7; 因为实验所需的5台机器配置大多相同,所以采用配置其中一台,然后使用克隆功能复制另外4份再做具体修改; 其中有些步骤以前配置过...

一语成谶灬
2017/08/30
0
0

没有更多内容

加载失败,请刷新页面

加载更多

用原生js对表格排序

本文转载于:专业的前端网站➸用原生js对表格排序 阿里的模拟笔试题,当时时间有限没写出来,其实是因为自己对原生dom操作不熟悉,这里补一下。 题目的大意是有一个表格,如代码所示 <table>...

前端老手
21分钟前
3
0
IT兄弟连 HTML5教程 HTML5表单 HTML5新增表单元素

HTML5有一些新的表单元素:<datalist>、<keygen>、<output>。不是所有的浏览器都支持HTML5新的表单元素,但即使浏览器不支持该表单属性,仍然可以显示为常规的表单元素。 1 <datalist>元素 ...

老码农的一亩三分地
22分钟前
3
0
【朝花夕拾】Android自定义View篇之(一)View绘制流程

https://www.cnblogs.com/andy-songwei/p/10955062.html

shzwork
24分钟前
4
0
Qt编写自定义控件70-扁平化flatui

一、前言 对于现在做前端开发人员来说,FlatUI肯定不陌生,最近几年扁平化的设计越来越流行,大概由于现在PC端和移动端的设备的分辨率越来越高,扁平化反而看起来更让人愉悦,而通过渐变色产...

飞扬青云
34分钟前
2
0
教你玩转Linux—添加批量用户

添加和删除用户对每位Linux系统管理员都是轻而易举的事,比较棘手的是如果要添加几十个、上百个甚至上千个用户时,我们不太可能还使用useradd一个一个地添加,必然要找一种简便的创建大量用户...

Linux就该这么学
今天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部