文档章节

hadoop等配置文件核心部分简介

yinkaipeng
 yinkaipeng
发布于 2015/01/11 10:02
字数 674
阅读 173
收藏 0

Hadoop配置

hdfs-site.xml文件配置(主要配置参数)

dfs.nameservices(指定了集群服务名称)

dfs.ha.namenodes.drmcluster(用于namenode HA的节点名称)

dfs.namenode.rpc-address.drmcluster.*(指定了用于namenode HA的节点进行rpc通信地址)

dfs.namenode.http-address.drmcluster.*(指定namenode web页面的监听端口)

dfs.datanode.http.address(指定datanode web页面的监听端口)

dfs.datanode.address(指定datanode的通信端口)

dfs.namenode.name.dir(指定hadoop元数据存储目录)

dfs.namenode.shared.edits.dir(指定hadoop主备namenode共享元数据目录)

dfs.replication(指定hdfs中存储的文件副本数)

dfs.datanode.data.dir(指定数据节点存放数据的目录)

ha.zookeeper.session-timeout.ms(指定了zookeeper超时间隔)

slaves文件配置

各个主机节点的hostname,每行一个

mapred-site.xml文件配置(主要配置参数)

mapred.job.trackerjobtrackerip地址、端口

mapreduce.framework.name:第三方 MapReduce 框架

mapreduce.jobhistory.addressjobhistory服务器地址

mapreduce.jobhistory.webapp.address  jobhistory监控地址            

mapred.child.java.opts:启动task管理的子进程时的内存设置

mapred.tasktracker.map.tasks.maximum  :任管管理器可同时运行map任务数  

mapred.tasktracker.reduce.tasks.maximum:任管管理器可同时运行reduce任务数

yarn-site.xml文件配置(主要配置参数)

yarn.resourcemanager.resource-tracker.addressRM 主机的 tracker 接口地址

yarn.resourcemanager.addressNodeManager RM 通信的接口地址

yarn.resourcemanager.scheduler.addressRM 主机的 scheduler 调度服务接口地址

yarn.nodemanager.local-dirsMR的中介数据文件存放目录

yarn.nodemanager.log-dirs:日志存放目录

yarn.nodemanager.resource.memory-mb:每个nodemanager可分配的内存总量

将以上配置文件copy到其他集群主机所对应的配置文件目录。



Hbase配置

hbase-site.xml文件配置(主要配置参数)

hbase.rootdir(指定hbasehdfs下的根目录)

hbase.master.port(指定master的通信端口)

hbase.master.info.port(指定master web 界面端口)

hbase.regionserver.port(指定regionserver的通信端口)

hbase.regionserver.info.port(指定regionserver web 界面端口)

hbase.cluster.distributed(指定hbase是否以分布式进行部署)

hbase.zookeeper.quorum(指定用于hadoop namenode失效切换的zookeeper集群信息)

hbase.zookeeper.property.clientPort(指定服务器端开启的监听端口,用来接受客户端访问请求的端口)

hbase.zookeeper.peerport(指定zookeeper服务之间通信的端口)

hbase.zookeeper.peerport(指定zookeeper服务之间通信的端口)

hbase.tmp.dir(指定了hbase临时文件存放目录)

hbase.hregion.majorcompaction(指定了自动进行major compaction的周期)

regionservers文件配置

各个regionserver节点的hostname,每行一个

hbase连接hdfs配置

hbase连接cdh4版的hdfs,需要将hadoopconf目录下的core-site.xmlhdfs-site.xml拷贝到hbaseconf目录下


Hive配置

配置hive元数据,只需要hive-site.xml做如下配置

javax.jdo.option.ConnectionURL(jdbc链接字符串)

avax.jdo.option.ConnectionDriverName(jdbc驱动类名称)

hive.metastore.local(是在hive客户端打开一个新的metastore server还是连接远程的metastore server)

hive.metastore.warehouse.dir(默认数据库仓库的位置)


© 著作权归作者所有

共有 人打赏支持
yinkaipeng
粉丝 0
博文 11
码字总数 11509
作品 0
西安
程序员
私信 提问
Hdoop 学习笔记

简介:Hadoop分布式系统体系结构的核心: HDFS和MapReduce 。HDFS在集群上实现分布式文件系统,MapReduce在集群上实现了分布式计算和任务处理。HDFS在MapReduce任务处理过程中提供了文件操作...

james_lz
2016/03/08
25
0
Hadoop架构以及伪分布式安装

一、Hadoop简介 Hadoop:一个分布式系统基础架构,适合大数据的分布式存储与计算平台。两个核心项目:HDFS、MapReduce HDFS:分布式文件系统,主要解决分布式的存储问题。 MapReduce:并行计...

Zhang_H
2014/03/16
0
0
6月9日上海 华东运维技术大会:演讲主题、演讲嘉宾等信息

会议名称:华东运维技术大会 参会形式:免费报名制(注释:须事先报名,场地有限) 会议定位:企业运维技术的最佳实践 会议主题:运维自动化、Web服务器的优化与架构、云计算、虚拟化技术 会...

金官丁
2012/05/19
2.5K
11
《深入理解SPARK:核心思想与源码分析》一书正式出版上市

自己牺牲了7个月的周末和下班空闲时间,通过研究Spark源码和原理,总结整理的《深入理解Spark:核心思想与源码分析》一书现在已经正式出版上市,目前京东、当当、天猫等网站均有销售,欢迎感...

beliefer
2016/01/11
0
0
【hadoop】6.hadoop配置文件

简介 通过本教程您可以学习到 hadoop配置文件的组成; hadoop配置文件的主要内容。 Hadoop配置文件分两类: 默认配置文件 自定义配置文件 只有用户想修改某一默认配置值时,才需要修改自定义...

落花时节又逢卿
01/03
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Quartz监听器Listerner

概述 Quartz的监听器用于当任务调度中你所关注事件发生时,能够及时获取这一事件的通知。Quartz监听器主要有JobListener、TriggerListener、SchedulerListener三种,顾名思义,分别表示任务、...

大笨象会跳舞吧
5分钟前
0
0
Call exception, tries=10, retries=35, started=38348 ms ago, cancelled=false, msg=pc-node1 row

写hbase的问题,2019-01-18 23:23:28,082 | INFO | [hconnection-0x6431d54d-shared--pool2-t5] | Call exception, tries=10, retries=35, started=38348 ms ago, cancelled=false, msg=p......

stys35
8分钟前
0
0
docker 安装portainer、gogs、redis、mongodb、es、rabbitmq、mysql、jenkins、harbor

1、准备三台虚拟机ip如下 编号 Ip 1 192.168.100.101 2 192.168.100.102 3 192.168.100.103 2、镜像应用编排 192.168.100.101 主要安装系统运维相关服务 192.168.100.102 主要安装mysql、mon...

北岩
17分钟前
0
0
storm 提交任务报SocketException错误及解决办法

提交任务爆错: org.apache.storm.thrift.transport.TTransportException: java.net.SocketException: Broken pipe (Write failed) ..... Caused by: org.apache.storm.thrift.transport.TTr......

jingshishengxu
22分钟前
0
0
值得收藏:一份非常完整的MySQL规范

一、数据库命令规范 所有数据库对象名称必须使用小写字母并用下划线分割 所有数据库对象名称禁止使用mysql保留关键字(如果表名中包含关键字查询时,需要将其用单引号括起来) 数据库对象的命...

Java干货分享
32分钟前
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部