hadoop等配置文件核心部分简介
hadoop等配置文件核心部分简介
yinkaipeng 发表于3年前
hadoop等配置文件核心部分简介
  • 发表于 3年前
  • 阅读 154
  • 收藏 0
  • 点赞 0
  • 评论 0

腾讯云 技术升级10大核心产品年终让利>>>   

摘要: 一个简单hadoop完全分布式集群,最核心的要配置的项目。

Hadoop配置

hdfs-site.xml文件配置(主要配置参数)

dfs.nameservices(指定了集群服务名称)

dfs.ha.namenodes.drmcluster(用于namenode HA的节点名称)

dfs.namenode.rpc-address.drmcluster.*(指定了用于namenode HA的节点进行rpc通信地址)

dfs.namenode.http-address.drmcluster.*(指定namenode web页面的监听端口)

dfs.datanode.http.address(指定datanode web页面的监听端口)

dfs.datanode.address(指定datanode的通信端口)

dfs.namenode.name.dir(指定hadoop元数据存储目录)

dfs.namenode.shared.edits.dir(指定hadoop主备namenode共享元数据目录)

dfs.replication(指定hdfs中存储的文件副本数)

dfs.datanode.data.dir(指定数据节点存放数据的目录)

ha.zookeeper.session-timeout.ms(指定了zookeeper超时间隔)

slaves文件配置

各个主机节点的hostname,每行一个

mapred-site.xml文件配置(主要配置参数)

mapred.job.trackerjobtrackerip地址、端口

mapreduce.framework.name:第三方 MapReduce 框架

mapreduce.jobhistory.addressjobhistory服务器地址

mapreduce.jobhistory.webapp.address  jobhistory监控地址            

mapred.child.java.opts:启动task管理的子进程时的内存设置

mapred.tasktracker.map.tasks.maximum  :任管管理器可同时运行map任务数  

mapred.tasktracker.reduce.tasks.maximum:任管管理器可同时运行reduce任务数

yarn-site.xml文件配置(主要配置参数)

yarn.resourcemanager.resource-tracker.addressRM 主机的 tracker 接口地址

yarn.resourcemanager.addressNodeManager RM 通信的接口地址

yarn.resourcemanager.scheduler.addressRM 主机的 scheduler 调度服务接口地址

yarn.nodemanager.local-dirsMR的中介数据文件存放目录

yarn.nodemanager.log-dirs:日志存放目录

yarn.nodemanager.resource.memory-mb:每个nodemanager可分配的内存总量

将以上配置文件copy到其他集群主机所对应的配置文件目录。



Hbase配置

hbase-site.xml文件配置(主要配置参数)

hbase.rootdir(指定hbasehdfs下的根目录)

hbase.master.port(指定master的通信端口)

hbase.master.info.port(指定master web 界面端口)

hbase.regionserver.port(指定regionserver的通信端口)

hbase.regionserver.info.port(指定regionserver web 界面端口)

hbase.cluster.distributed(指定hbase是否以分布式进行部署)

hbase.zookeeper.quorum(指定用于hadoop namenode失效切换的zookeeper集群信息)

hbase.zookeeper.property.clientPort(指定服务器端开启的监听端口,用来接受客户端访问请求的端口)

hbase.zookeeper.peerport(指定zookeeper服务之间通信的端口)

hbase.zookeeper.peerport(指定zookeeper服务之间通信的端口)

hbase.tmp.dir(指定了hbase临时文件存放目录)

hbase.hregion.majorcompaction(指定了自动进行major compaction的周期)

regionservers文件配置

各个regionserver节点的hostname,每行一个

hbase连接hdfs配置

hbase连接cdh4版的hdfs,需要将hadoopconf目录下的core-site.xmlhdfs-site.xml拷贝到hbaseconf目录下


Hive配置

配置hive元数据,只需要hive-site.xml做如下配置

javax.jdo.option.ConnectionURL(jdbc链接字符串)

avax.jdo.option.ConnectionDriverName(jdbc驱动类名称)

hive.metastore.local(是在hive客户端打开一个新的metastore server还是连接远程的metastore server)

hive.metastore.warehouse.dir(默认数据库仓库的位置)


共有 人打赏支持
粉丝 0
博文 9
码字总数 8858
×
yinkaipeng
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: