文档章节

hadoop等配置文件核心部分简介

yinkaipeng
 yinkaipeng
发布于 2015/01/11 10:02
字数 674
阅读 420
收藏 0

钉钉、微博极速扩容黑科技,点击观看阿里云弹性计算年度发布会!>>>

Hadoop配置

hdfs-site.xml文件配置(主要配置参数)

dfs.nameservices(指定了集群服务名称)

dfs.ha.namenodes.drmcluster(用于namenode HA的节点名称)

dfs.namenode.rpc-address.drmcluster.*(指定了用于namenode HA的节点进行rpc通信地址)

dfs.namenode.http-address.drmcluster.*(指定namenode web页面的监听端口)

dfs.datanode.http.address(指定datanode web页面的监听端口)

dfs.datanode.address(指定datanode的通信端口)

dfs.namenode.name.dir(指定hadoop元数据存储目录)

dfs.namenode.shared.edits.dir(指定hadoop主备namenode共享元数据目录)

dfs.replication(指定hdfs中存储的文件副本数)

dfs.datanode.data.dir(指定数据节点存放数据的目录)

ha.zookeeper.session-timeout.ms(指定了zookeeper超时间隔)

slaves文件配置

各个主机节点的hostname,每行一个

mapred-site.xml文件配置(主要配置参数)

mapred.job.trackerjobtrackerip地址、端口

mapreduce.framework.name:第三方 MapReduce 框架

mapreduce.jobhistory.addressjobhistory服务器地址

mapreduce.jobhistory.webapp.address  jobhistory监控地址            

mapred.child.java.opts:启动task管理的子进程时的内存设置

mapred.tasktracker.map.tasks.maximum  :任管管理器可同时运行map任务数  

mapred.tasktracker.reduce.tasks.maximum:任管管理器可同时运行reduce任务数

yarn-site.xml文件配置(主要配置参数)

yarn.resourcemanager.resource-tracker.addressRM 主机的 tracker 接口地址

yarn.resourcemanager.addressNodeManager RM 通信的接口地址

yarn.resourcemanager.scheduler.addressRM 主机的 scheduler 调度服务接口地址

yarn.nodemanager.local-dirsMR的中介数据文件存放目录

yarn.nodemanager.log-dirs:日志存放目录

yarn.nodemanager.resource.memory-mb:每个nodemanager可分配的内存总量

将以上配置文件copy到其他集群主机所对应的配置文件目录。



Hbase配置

hbase-site.xml文件配置(主要配置参数)

hbase.rootdir(指定hbasehdfs下的根目录)

hbase.master.port(指定master的通信端口)

hbase.master.info.port(指定master web 界面端口)

hbase.regionserver.port(指定regionserver的通信端口)

hbase.regionserver.info.port(指定regionserver web 界面端口)

hbase.cluster.distributed(指定hbase是否以分布式进行部署)

hbase.zookeeper.quorum(指定用于hadoop namenode失效切换的zookeeper集群信息)

hbase.zookeeper.property.clientPort(指定服务器端开启的监听端口,用来接受客户端访问请求的端口)

hbase.zookeeper.peerport(指定zookeeper服务之间通信的端口)

hbase.zookeeper.peerport(指定zookeeper服务之间通信的端口)

hbase.tmp.dir(指定了hbase临时文件存放目录)

hbase.hregion.majorcompaction(指定了自动进行major compaction的周期)

regionservers文件配置

各个regionserver节点的hostname,每行一个

hbase连接hdfs配置

hbase连接cdh4版的hdfs,需要将hadoopconf目录下的core-site.xmlhdfs-site.xml拷贝到hbaseconf目录下


Hive配置

配置hive元数据,只需要hive-site.xml做如下配置

javax.jdo.option.ConnectionURL(jdbc链接字符串)

avax.jdo.option.ConnectionDriverName(jdbc驱动类名称)

hive.metastore.local(是在hive客户端打开一个新的metastore server还是连接远程的metastore server)

hive.metastore.warehouse.dir(默认数据库仓库的位置)


yinkaipeng
粉丝 0
博文 16
码字总数 13255
作品 0
西安
程序员
私信 提问
加载中
请先登录后再评论。
想了解大数据的鼻祖Hadoop技术栈,这里有一份优质书单推荐!

如何用形象的比喻描述大数据的技术生态?Hadoop、Hive、Spark 之间是什么关系?对于大部分人来说都是傻傻分不清楚。 今年来大数据、人工智能获得了IT界大量的关注。如果一个企业不玩大数据,...

osc_ct0tt1cu
06/21
6
0
想了解大数据的鼻祖Hadoop技术栈,这里有一份优质书单推荐!

如何用形象的比喻描述大数据的技术生态?Hadoop、Hive、Spark 之间是什么关系?对于大部分人来说都是傻傻分不清楚。 今年来大数据、人工智能获得了IT界大量的关注。如果一个企业不玩大数据,...

osc_9mt0ncuk
06/20
6
0
想了解大数据的鼻祖Hadoop技术栈,这里有一份优质书单推荐!

如何用形象的比喻描述大数据的技术生态?Hadoop、Hive、Spark 之间是什么关系?对于大部分人来说都是傻傻分不清楚。 今年来大数据、人工智能获得了IT界大量的关注。如果一个企业不玩大数据,...

程序员书单
06/20
10
0
想了解大数据的鼻祖Hadoop技术栈,这里有一份优质书单推荐!

如何用形象的比喻描述大数据的技术生态?Hadoop、Hive、Spark 之间是什么关系?对于大部分人来说都是傻傻分不清楚。 今年来大数据、人工智能获得了IT界大量的关注。如果一个企业不玩大数据,...

黄小斜
06/19
6
0
Hadoop简介(1)

Hadoop: 适合大数据的分布式存储和计算平台.Hadoop中的核心就是HDFS(Hadoop Distributed File System)hadoop分布式文件系统,还有一个就是MapReduce并行计算框架. Hadoop分布式文件系统: ...

肖鋭
2014/02/21
95
1

没有更多内容

加载失败,请刷新页面

加载更多

Day 4 掌握pip命令,管理好你的Python资源包

在文章底部你的每一次随手 → 分享、点赞、在看都很重要,感谢!!! 精华推荐:精选20篇满足你对前沿理论、技术和经验总结 开源优测专辑集合: 1. 前沿理论、工具和趋势总结 2. 快学Python3...

苦叶子
07/02
0
0
Motan中使用异步RPC接口

这周六参加了一个美团点评的技术沙龙,其中一位老师在介绍他们自研的 RPC 框架时提到一点:RPC 请求分为 sync,future,callback,oneway,并且需要遵循一个原则:能够异步的地方就不要使用同...

Java公众号_Kirito的技术分享
2017/12/27
3
0
JS逆向 | 防脱发的秘诀

作者:Jerryning 公众号:Python编程与实战 hello,大jia好,又到了练手时间了,这是我给大伙分享的第…篇逆向文章。前面的几篇猛戳下面: Python爬虫之JS逆向入门篇 JS逆向之新榜登录 JS逆向...

州的先生
2019/08/27
0
0
python练习-001

从今天起,我们进入python的学习,会根据每天一个案例的方法,由浅入深的学习python。 python学习对于初学者来说,最大的问题在于不知道自己学了能做啥,每天敲这些无聊的代码很枯燥,所以学...

致码高胜寒
2019/01/16
11
0
yolov5 简单教程

该库代表Ultralytics对未来对象检测方法的开源研究,并结合了以前的YOLO库https://github.com/ultralytics/yolov3在自定义数据集上训练了数千个模型而得到的最佳实践。**所有代码和模型都在积...

人工智能遇见磐创
43分钟前
12
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部