文档章节

hadoop等配置文件核心部分简介

yinkaipeng
 yinkaipeng
发布于 2015/01/11 10:02
字数 674
阅读 161
收藏 0
点赞 0
评论 0

Hadoop配置

hdfs-site.xml文件配置(主要配置参数)

dfs.nameservices(指定了集群服务名称)

dfs.ha.namenodes.drmcluster(用于namenode HA的节点名称)

dfs.namenode.rpc-address.drmcluster.*(指定了用于namenode HA的节点进行rpc通信地址)

dfs.namenode.http-address.drmcluster.*(指定namenode web页面的监听端口)

dfs.datanode.http.address(指定datanode web页面的监听端口)

dfs.datanode.address(指定datanode的通信端口)

dfs.namenode.name.dir(指定hadoop元数据存储目录)

dfs.namenode.shared.edits.dir(指定hadoop主备namenode共享元数据目录)

dfs.replication(指定hdfs中存储的文件副本数)

dfs.datanode.data.dir(指定数据节点存放数据的目录)

ha.zookeeper.session-timeout.ms(指定了zookeeper超时间隔)

slaves文件配置

各个主机节点的hostname,每行一个

mapred-site.xml文件配置(主要配置参数)

mapred.job.trackerjobtrackerip地址、端口

mapreduce.framework.name:第三方 MapReduce 框架

mapreduce.jobhistory.addressjobhistory服务器地址

mapreduce.jobhistory.webapp.address  jobhistory监控地址            

mapred.child.java.opts:启动task管理的子进程时的内存设置

mapred.tasktracker.map.tasks.maximum  :任管管理器可同时运行map任务数  

mapred.tasktracker.reduce.tasks.maximum:任管管理器可同时运行reduce任务数

yarn-site.xml文件配置(主要配置参数)

yarn.resourcemanager.resource-tracker.addressRM 主机的 tracker 接口地址

yarn.resourcemanager.addressNodeManager RM 通信的接口地址

yarn.resourcemanager.scheduler.addressRM 主机的 scheduler 调度服务接口地址

yarn.nodemanager.local-dirsMR的中介数据文件存放目录

yarn.nodemanager.log-dirs:日志存放目录

yarn.nodemanager.resource.memory-mb:每个nodemanager可分配的内存总量

将以上配置文件copy到其他集群主机所对应的配置文件目录。



Hbase配置

hbase-site.xml文件配置(主要配置参数)

hbase.rootdir(指定hbasehdfs下的根目录)

hbase.master.port(指定master的通信端口)

hbase.master.info.port(指定master web 界面端口)

hbase.regionserver.port(指定regionserver的通信端口)

hbase.regionserver.info.port(指定regionserver web 界面端口)

hbase.cluster.distributed(指定hbase是否以分布式进行部署)

hbase.zookeeper.quorum(指定用于hadoop namenode失效切换的zookeeper集群信息)

hbase.zookeeper.property.clientPort(指定服务器端开启的监听端口,用来接受客户端访问请求的端口)

hbase.zookeeper.peerport(指定zookeeper服务之间通信的端口)

hbase.zookeeper.peerport(指定zookeeper服务之间通信的端口)

hbase.tmp.dir(指定了hbase临时文件存放目录)

hbase.hregion.majorcompaction(指定了自动进行major compaction的周期)

regionservers文件配置

各个regionserver节点的hostname,每行一个

hbase连接hdfs配置

hbase连接cdh4版的hdfs,需要将hadoopconf目录下的core-site.xmlhdfs-site.xml拷贝到hbaseconf目录下


Hive配置

配置hive元数据,只需要hive-site.xml做如下配置

javax.jdo.option.ConnectionURL(jdbc链接字符串)

avax.jdo.option.ConnectionDriverName(jdbc驱动类名称)

hive.metastore.local(是在hive客户端打开一个新的metastore server还是连接远程的metastore server)

hive.metastore.warehouse.dir(默认数据库仓库的位置)


© 著作权归作者所有

共有 人打赏支持
yinkaipeng
粉丝 0
博文 9
码字总数 8858
作品 0
西安
程序员
Hdoop 学习笔记

简介:Hadoop分布式系统体系结构的核心: HDFS和MapReduce 。HDFS在集群上实现分布式文件系统,MapReduce在集群上实现了分布式计算和任务处理。HDFS在MapReduce任务处理过程中提供了文件操作...

james_lz
2016/03/08
25
0
Hadoop架构以及伪分布式安装

一、Hadoop简介 Hadoop:一个分布式系统基础架构,适合大数据的分布式存储与计算平台。两个核心项目:HDFS、MapReduce HDFS:分布式文件系统,主要解决分布式的存储问题。 MapReduce:并行计...

Zhang_H
2014/03/16
0
0
hadoop源码解析2 - conf包中Configuration.java解析

1 Hadoop Configuration简介 Hadoop没有使用java.util.Properties管理配置文件,也没有使用Apache Jakarta Commons Configuration管理配置文件,而是使用了一套独有的配置文件管理系统,并提...

闵开慧
2014/09/11
0
0
开源大数据处理工具汇总(上)

本文一共分为上下两部分。我们将针对大数据开源工具不同的用处来进行分类,并且附上了官网和部分下载链接,希望能给做大数据的朋友做个参考。下面是第一部分。 查询引擎 一、Phoenix 贡献者:...

openthings
2016/01/05
63
0
《深入理解SPARK:核心思想与源码分析》一书正式出版上市

自己牺牲了7个月的周末和下班空闲时间,通过研究Spark源码和原理,总结整理的《深入理解Spark:核心思想与源码分析》一书现在已经正式出版上市,目前京东、当当、天猫等网站均有销售,欢迎感...

beliefer
2016/01/11
0
0
6月9日上海 华东运维技术大会:演讲主题、演讲嘉宾等信息

会议名称:华东运维技术大会 参会形式:免费报名制(注释:须事先报名,场地有限) 会议定位:企业运维技术的最佳实践 会议主题:运维自动化、Web服务器的优化与架构、云计算、虚拟化技术 会...

金官丁
2012/05/19
2.4K
11
81个开源大数据处理工具汇总(上),包括查询引擎/流式计算/存储/资源管理等

本文一共分为上下两部分。我们将针对大数据开源工具不同的用处来进行分类,并且附上了官网和部分下载链接,希望能给做大数据的朋友做个参考。下面是第一部分。 查询引擎 一、Phoenix 贡献者:...

孟飞阳
2016/07/13
239
0
大数据怎样才能踏入进去?年薪60万大数据架构师教你如何入门!

1.Linux基础和分布式集群技术 学完此阶段可掌握的核心能力: 熟练使用Linux,熟练安装Linux上的软件,了解熟悉负载均衡、高可靠等集群相关概念,搭建互联网高并发、高可靠的服务架构; 学完此...

董黎明
06/09
0
0
Hadoop分布式集群最快部署配置攻略

本文只是介绍apache hadoop完全分布式的最简化部署配置 没有对性能进行优化实际生产环境hadoop的调优参数有几十个 Hadoop简介 Hadoop的框架最核心组成结构就是:HDFS和MapReduce。HDFS是海量...

epiclen
2017/12/24
0
0
Hadoop简介

Hadoop 介绍 Hadoop是Apache组织的一个分布式计算框架(java语言),其最核心的设计就是:HDFS 和MapReduce,HDFS实现存储,MapReduce实现原理分析处理。 HDFS文件系统 HDFS(Hadoop Distri...

SkyHive
2017/11/24
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Android 复制和粘贴功能

做了一回搬运工,原文地址:https://blog.csdn.net/kennethyo/article/details/76602765 Android 复制和粘贴功能,需要调用系统服务ClipboardManager来实现。 ClipboardManager mClipboardM...

她叫我小渝
24分钟前
0
0
拦截SQLSERVER的SSL加密通道替换传输过程中的用户名密码实现运维审计(一)

工作准备 •一台SQLSERVER 2005/SQLSERVER 2008服务 •SQLSERVER jdbc驱动程序 •Java开发环境eclipse + jdk1.8 •java反编译工具JD-Core 反编译JDBC分析SQLSERVER客户端与服务器通信原理 SQ...

紅顏為君笑
41分钟前
4
0
jQuery零基础入门——(六)修改DOM结构

《jQuery零基础入门》系列博文是在廖雪峰老师的博文基础上,可能补充了个人的理解和日常遇到的点,用我的理解表述出来,主干出处来自廖雪峰老师的技术分享。 在《零基础入门JavaScript》的时...

JandenMa
58分钟前
0
0
linux mint 1.9 qq 安装

转: https://www.jianshu.com/p/cdc3d03c144d 1. 下载 qq 轻聊版,可在百度搜索后下载 QQ7.9Light.exe 2. 去wine的官网(https://wiki.winehq.org/Ubuntu) 安装 wine . 提醒网页可以切换成中...

Canaan_
今天
0
0
PHP后台运行命令并管理运行程序

php后台运行命令并管理后台运行程序 class ProcessModel{ private $pid; private $command; private $resultToFile = ''; public function __construct($cl=false){......

colin_86
今天
1
0
数据结构与算法4

在此程序中,HighArray类中的find()方法用数据项的值作为参数传递,它的返回值决定是否找到此数据项。 insert()方法向数组下一个空位置放置一个新的数据项。一个名为nElems的字段跟踪记录着...

沉迷于编程的小菜菜
今天
1
1
fiddler安装和基本使用以及代理设置

项目需求 由于开发过程中客户端和服务器数据交互非常频繁,有时候服务端需要知道客户端调用接口传了哪些参数过来,这个时候就需要一个工具可以监听这些接口请求参数,已经接口的响应的数据,这种...

银装素裹
今天
0
0
Python分析《我不是药神》豆瓣评论

读取 Mongo 中的短评数据,进行中文分词 对分词结果取 Top50 生成词云 生成词云效果 看来网上关于 我不是药神 vs 达拉斯 的争论很热啊。关于词频统计就这些,代码中也会完成一些其它的分析任...

猫咪编程
今天
0
0
虚拟机怎么安装vmware tools

https://blog.csdn.net/tjcwt2011/article/details/72638977

AndyZhouX
昨天
1
0
There is no session with id[xxx]

参考网页 https://blog.csdn.net/caimengyuan/article/details/52526765 报错 2018-07-19 23:04:35,330 [http-nio-1008-exec-8] DEBUG [org.apache.shiro.web.servlet.SimpleCookie] - Found......

karma123
昨天
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部