文档章节

Hdfs-site.xml

Zero零_度
 Zero零_度
发布于 2014/11/16 15:16
字数 200
阅读 34
收藏 0
点赞 0
评论 0
原文链接: http://liliugen.iteye.com/blog/1407551

Hdfs-site.xml 

  //指定name镜像文件存放目录,如不指定则 
   //默认为core-site中配置的tmp目录 

   <property> 
       <name>dfs.name.dir</name> 
       <value>/usr/local/hadoop/hdfs/name</value> 
   </property> 
      
//数据节点冗余备份的数量,由于实验只有2个 
// NN顾设置唯一,实际配置是可由实际情况 
//配置,建议尽量大于3 
   <property> 
       <name>dfs.replication</name>    
       <value>1</value>                
   </property>                        

//是否需要角色权限验证,上传文件时会用到, 
//如果为true,需要绑定hadoop用户角色 
   <property> 
       <name>dfs.permissions</name>  
       <value>false</value>            
   </property> 

//SNN的web访问地址。 
   <property> 
       <name>dfs.secondary.http.address</name> 
       <value>hadoop.second:50090</value> 
   </property> 

//数据存放的目录,如果不写默认为 
// core-site中配置的tmp目录 
   <property> 
      <name>dfs.data.dir</name>            
      <value>/usr/local/hadoop/hdfs/data</value> 
   </property> 


link:http://hi.baidu.com/bjwyl66/blog/item/f60e29b1a269f4b9d9335aa9.html 

本文转载自:http://liliugen.iteye.com/blog/1407551

共有 人打赏支持
Zero零_度
粉丝 67
博文 1245
码字总数 252841
作品 0
程序员
Hadoop的配置文件

core-site.xml是全局配置; hdfs-site.xml和mapred-site.xml分别是hdfs和mapred的局部配置; HDFS端口            MR端口         其他端口                  ...

593653868
2016/09/19
0
0
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(3)

第四步修改配置文件slaves,如下所示: 我们设置Hadoop集群中的从节点为SparkWorker1和SparkWorker2,把slaves文件的内容修改为: 第五步修改配置文件core-site.xml,如下所示: 把core-site...

Spark亚太研究院
2014/10/10
0
0
hadoop2.6.0版本搭建伪分布式环境

由于个人需要在自己的笔记本上搭建hadoop伪分布环境,为了方便自己使用,如想看机器也看之前的一篇博客:hadoop2.6.0版本集群环境搭建 一台虚拟机,配置信息如下: 内存:1G,cpu:一个core,...

stark_summer
2015/02/06
0
2
Hadoop-2.6.0集群搭建(多机环境HDFS+YARN,非HA)

Hadoop-2.6.0分布式集群搭建(非HA) 下载Hadoop: http://hadoop.apache.org/releases.html 集群规划 master机器解压至 /home/hadoop/hadoop 目录下 设置环境变量 HADOOP_HOME 在hadoop-2....

翻船全靠浪
2016/04/26
38
0
hadoop伪分布式需修改的配置文件(5个)

Hadoop主要的配置文件 Hadoop的配置文件都放在/HADOOP_HOME/conf Hadoop配置文件 文件名称 格式 描述 hadoop-env.sh Bash脚本 记录Hadoop要用的环境变量 core-site.xml Hadoop配置XML Hadoo...

周东尧
01/25
0
0
spark提交任务:java.net.UnknownHostException: cluster1

由于我的hdfs集群配置了HA,在提交spark任务时,提示:java.net.UnknownHostException: cluster1。于是寻找解决方案。 首先参考:[解决]Spark运行中java.net.UnknownHostException: nameserv...

cjun1990
2016/05/03
1K
1
Hadoop HA搭建步骤配置文件

Hadoop HA 搭建: 准备四台机器: 1.配置hdfs-site.xml 文件 dfs.nameservicesmyclusterdfs.ha.namenodes.myclusternn1,nn2dfs.namenode.rpc-add...

tian5753
04/15
0
0
无需Cygwin!Windows7 Hadoop0.20.2安装配置(单节点)

因为用cygwin的方式在windows7上配置hadoop(使用Cygwin 的主要目的是为了执行hadoop bin 目录下的Linux Shell 脚本),老是出问题,索性就放弃了,刚好在网上找到一个教程,无需使用Cygwin即可...

司马宅
2012/04/07
0
6
hadoop 2.8.3 集群环境搭建

hadoop 2.8.3集群环境搭建 Linux : CentOS 7 hadoop版本: hadoop-2.8.3 JDK: 1.8.0_161 这里打算直接root用户,搭建3个节点的hadoop集群环境。先关闭防火墙,安装成功后,启动哪里报错再针...

huangliuyu00
04/22
0
0
Hadoop集群升级HA高可用集群配置

在原有的Hadoop集群的基础上,配置HA高可用集群,简单修改配置文件,具体配置及启动方案如下:(先停止Hadoop集群) 修改core-site.xml(指定ZK集群,使ZK能够监督master的运行,启动备用节点...

kakaluoteyy
04/16
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Android 获取各大音乐平台的真实下载地址

废话 电脑使用谷歌浏览器或者QQ浏览器的时候。。。。。。。说不清楚,还是看图吧 大概意思就是,只要网页上需要播放,只要能播放并且开始播放,这个过程就肯定会请求到相关的音乐资源,然后就...

她叫我小渝
32分钟前
0
0
shell中的函数、shell中的数组、告警系统需求分析

shell中的函数 格式: 格式: function f_name() { command } 函数必须要放在最前面 示例1(用来打印参数) 示例2(用于定义加法) 示例3(用于显示IP) shell中的数组 shell中的数组1 定义数...

Zhouliang6
今天
2
0
用 Scikit-Learn 和 Pandas 学习线性回归

      对于想深入了解线性回归的童鞋,这里给出一个完整的例子,详细学完这个例子,对用scikit-learn来运行线性回归,评估模型不会有什么问题了。 1. 获取数据,定义问题     没有...

wangxuwei
今天
1
0
MAC安装MAVEN

一:下载maven压缩包(Zip或tar可选),解压压缩包 二:打开终端输入:vim ~/.bash_profile(如果找不到该文件新建一个:touch ./bash_profile) 三:输入i 四:输入maven环境变量配置 MAVEN_HO...

WALK_MAN
今天
0
0
33.iptables备份与恢复 firewalld的9个zone以及操作 service的操作

10.19 iptables规则备份和恢复 10.20 firewalld的9个zone 10.21 firewalld关于zone的操作 10.22 firewalld关于service的操作 10.19 iptables规则备份和恢复: ~1. 保存和备份iptables规则 ~2...

王鑫linux
今天
2
0
大数据教程(2.11):keeperalived+nginx高可用集群搭建教程

上一章节博主为大家介绍了目前大型互联网项目的系统架构体系,相信大家应该注意到其中很重要的一块知识nginx技术,在本节博主将为大家分享nginx的相关技术以及配置过程。 一、nginx相关概念 ...

em_aaron
今天
1
0
Apache Directory Studio连接Weblogic内置LDAP

OBIEE默认使用Weblogic内置LDAP管理用户及组。 要整理已存在的用户及组,此前办法是导出安全数据,文本编辑器打开认证文件,使用正则表达式获取用户及组的信息。 后来想到直接用Apache Dire...

wffger
今天
2
0
HFS

FS,它是一种上传文件的软件。 专为个人用户所设计的 HTTP 档案系统 - Http File Server,如果您觉得架设 FTP Server 太麻烦,那么这个软件可以提供您更方便的档案传输系统,下载后无须安装,...

garkey
今天
1
0
Java IO类库之BufferedInputStream

一、BufferedInputStream介绍 /** * A <code>BufferedInputStream</code> adds * functionality to another input stream-namely, * the ability to buffer the input and to * sup......

老韭菜
今天
0
0
STM 32 窗口看门狗

http://bbs.elecfans.com/jishu_805708_1_1.html https://blog.csdn.net/a1985831055/article/details/77404131...

whoisliang
昨天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部