文档章节

cdh5 beta2 集群配置文件

蓝狐乐队
 蓝狐乐队
发布于 2014/06/21 09:32
字数 472
阅读 420
收藏 0
注意:需要自己配置java环境,ssh通信
版本:hadoop:hadoop-2.2.0-cdh5.0.0-beta-2.tar.gz
      zookeeper:zookeeper-3.4.5-cdh5.0.0-beta-2.tar.gz
      hbase:hbase-0.96.1.1-cdh5.0.0-beta-2.tar.gz
下载地址:http://archive.cloudera.com/cdh5/cdh/5/
该版本的eclipse插件:联系625180661
Hadoop:
core-site.xml
===========================================
<configuration>
        <property>
                <name>fs.default.name</name>
                <value>hdfs://master:8020</value>
                <final>true</final>
        </property>
         <property>
                <name>dfs.namenode.name.dir</name>
                <value>/usr/local/hd/dfs/name</value>
         </property>
        <property>
                 <name>hadoop.tmp.dir</name>
                 <value>/usr/local/hd/tmp</value>
                 <description>A base for other temporary directories.</description>
        </property>
        <property>
                 <name>hadoop.proxyuser.hadoop.hosts</name>
                 <value>*</value>
        </property>
        <property>
                 <name>hadoop.proxyuser.hadoop.groups</name>
                 <value>*</value>
        </property>
</configuration>
==================================================
hdfs-site.xml
==================================================
<configuration>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/usr/local/hd/dfs/data</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>
        <property>
               <name>dfs.namenode.secondary.http-address</name>
               <value>master:8021</value>
         </property>
         <property>
               <name>dfs.webhdfs.enabled</name>
               <value>true</value>
         </property>
         <property>
                 <name>dfs.web.ugi</name>
                 <value>hadoop,supergroup,zzg</value>
         </property>
</configuration>
===============================================================
maped-site.xml
===============================================================
<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>master:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>master:19888</value>
        </property> 
</configuration>
=================================================================
yarn-site.xml
===============================================================
<configuration>

<!-- Site specific YARN configuration properties -->
                <property>
                  <name>yarn.resourcemanager.address</name>
                  <value>master:8032</value>
                </property>
         
                <property>
                  <name>yarn.resourcemanager.scheduler.address</name>
                  <value>master:8030</value>
                </property>      
                <property>
                  <name>yarn.resourcemanager.resource-tracker.address</name>
                  <value>master:8031</value>
                </property>
                 
                <property>
                  <name>yarn.resourcemanager.admin.address</name>
                  <value>master:8033</value>
                </property>
                 
                <property>
                  <name>yarn.resourcemanager.webapp.address</name>
                  <value>master:8088</value>
                </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
</configuration>
============================================================
zookeeper
zoo.cfg
==========================================================

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/usr/local/hd/zookeeper/data
# the port at which the clients will connect
clientPort=2181
server.1=master:2888:3888  
server.2=slave1:2888:3888  
server.3=slave2:2888:3888  
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
==========================================================
hbase
hbase-site.xml
========================================================
<configuration>
        <property> 
                <name>hbase.rootdir</name> 
                <value>hdfs://master:8020/hbase</value> 
        </property> 
        <property> 
                <name>hbase.cluster.distributed</name> 
                <value>true</value> 
        </property> 
        <property> 
                <name>hbase.zookeeper.quorum</name> 
                <value>master,slave1,slave2</value>
       </property>
        <property>
                <name>hbase.zookeeper.property.clientPort</name>
                 <value>2181</value>
       </property>
       <property>
                <name>hbase.zookeeper.property.dataDir</name>
                <value>/usr/local/hd/zookeeper/data</value>
       </property>
</configuration>
===========================================================


© 著作权归作者所有

上一篇: Linux命令小结
蓝狐乐队
粉丝 106
博文 322
码字总数 89813
作品 0
昌平
程序员
私信 提问
CDH 5 安装教程,Kafka 安装,LZO 安装

目 录 主机列表 基础环境 集群主机基础配置 配置 NTP 服务 配置 MySQL 服务器 安装 Cloudera Manager Server 和 AgentServer 安装 CDH 安装 Kafka 组件 配置 HDFS LZO 压缩 主机列表 |主机名...

yangji008
2017/09/03
0
0
【干货】离线安装Cloudera Manager 5和CDH5(最新版5.13.0)详细过程

—— 原文发布于本人的微信公众号“大数据与人工智能Lab”(BigdataAILab),欢迎关注。 Cloudera是Hadoop生态系统中,规模最大、知名度最高的公司。Cloudera对Hadoop进行了封装,简化安装过...

雪饼
2018/01/10
3.2K
0
hadoop namenode格式化错误处理

14/05/29 23:41:30 INFO namenode.NameNode: registered UNIX signal handlers for [TERM, HUP, INT]14/05/29 23:41:31 WARN util.NativeCodeLoader: Unable to load native-hadoop library ......

蓝狐乐队
2014/05/29
4.9K
0
CDH5 Hadoop如何支持读写OSS

CDH和CM(Cloudera Manager) CDH (Cloudera’s Distribution, including Apache Hadoop)是众多Hadoop发行版本中的一种,由Cloudera维护,目前有不少用户使用这个发行版本。CM是管理集群的工具...

冷月_wjh
2018/10/29
0
0
Hadoop CDH4.5升级CDH5 以及NameNode和YARN HA实战

CDH5支持很多新特性,所以打算把当前的CDH4.5升级到CDH5,软件部署还是以之前的CDH4.5集群为基础 192.168.1.10 U-1 (Active) hadoop-yarn-resourcemanager hadoop-hdfs-namenode hadoop-mapr...

China_OS
2014/05/27
228
0

没有更多内容

加载失败,请刷新页面

加载更多

手写RPC框架指北另送贴心注释代码一套

Angular8正式发布了,Java13再过几个月也要发布了,技术迭代这么快,框架的复杂度越来越大,但是原理是基本不变的。所以沉下心看清代码本质很重要,这次给大家带来的是手写RPC框架。 完整代码...

全菜工程师小辉
4分钟前
0
0
【Java】开发收货

简介 谨以此篇,记载开发过程中的一些tips。 编译器 【Shift + F6】可实现变量的联动修改。

Areya
20分钟前
2
0
DOM官方定义

DOM Document Object Model 文档对象模型 DOM的官方定义:W3C的DOM,可以使程序或者脚本(JS或AS\JScript),动态的访问或者操作文档的内容、结构、样式。 DOM只是一个标准,操作网页的标准。...

前端老手
26分钟前
4
0
IT兄弟连 HTML5教程 HTML5的学习线路图 第一阶段学习网页制作

学习HTML5技术可并不是简单学会几个新增的标签而已,HTML5现在可以说是前端所有技术的代名词。需要学习的语言和工具不仅多,对于刚接触他们的新人会感觉很乱。另外,前端开发也会细分很多个开...

老码农的一亩三分地
27分钟前
4
0
可见性有序性,Happens-before来搞定

写在前面 上一篇文章并发 Bug 之源有三,请睁大眼睛看清它们 谈到了可见性/原子性/有序性三个问题,这些问题通常违背我们的直觉和思考模式,也就导致了很多并发 Bug 为了解决 CPU,内存,IO ...

tan日拱一兵
43分钟前
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部