文档章节

Hadoop现有集群中,端口号占用情况

hiqj
 hiqj
发布于 2014/10/31 10:56
字数 295
阅读 141
收藏 0
点赞 0
评论 0

50010

相关配置项:dfs.datanode.address

描述:用于DATANODE初始化时,向NAMENODE提出注册和应答请求

 

50020

相关配置项:dfs.datanode.ipc.address

描述:DatanodeRPC服务器的地址和端口

 

50030

相关配置项:mapred.job.tracker.http.address        

描述:JobtrackerHTTP服务器地址和端口(trackerweb管理端口)

 

50060

相关配置项:mapred.task.tracker.http.address

描述:tasktrackerHTTP服务器地址和端口

50070

相关配置项:dfs.http.address                                         

描述:namenodeHTTP服务器地址和端口(NameNode web管理端口)

 

50075

相关配置项:dfs.datanode.http.address

描述:datanodeHTTP服务器地址和端口

50090

相关配置项:dfs.secondary.http.address             

描述:辅助namenodeHTTP服务器地址和端口(secondary NameNode web管理端口)

 

9000(默认端口:8020

相关配置项:fs.default.name

描述:namenode RPC交互端口

注:在hadoop默认配置中,默认端口为8020,但是我们配置中,指定为9000

9001(默认端口:8021

相关配置项:mapred.job.tracker

描述:job-tracker交互端口

该属性指定jobtrackerRPC服务器地址和端口。常用端口号是8021

注:在hadoop默认配置中,默认端口为8021,但是我们配置中,指定为9001

 

 

 

 


© 著作权归作者所有

共有 人打赏支持
hiqj
粉丝 24
博文 209
码字总数 93039
作品 0
渝北
程序员
windows下eclipse开发hadoop连接虚拟机linux配置的问题

linux中对应的hdfs和mapreduce端口已经配好 但是当eclipse中的hadoop插件安装并配置好后,却无法连接 右下角状态栏一直显示connecting to dfs... 后来终于知道原因,原来是linux防火墙的问题...

carlosli
2014/01/16
0
0
HBase概述

HBase是Hadoop的分布式数据库,用于大数据存储。是独立于Hadoop但依赖其HDFS的另一个开源项目。项目的目标是用于支持大数据表:十亿级的行数和百万级的列数。Hbase也是个分布式的、开源的、描...

编程老司机
2017/11/27
0
0
hadoop之 安全模式及SafeModeException

问题: hadoop启动的时候报错 HTTP ERROR 500 Problem accessing /nn_browsedfscontent.jsp. Reason: Cannot issue delegation token. Name node is in safe mode. The reported blocks 0 n......

技术小美
2017/11/12
0
0
Hadoop3.0稳定版的安装部署

号外:本公众号改名为Spark学习技巧了。 Apache Hadoop 3.0.0在前一个主要发行版本(hadoop-2.x)中包含了许多重要的增强功能。 这个版本通常是可用的(GA),api稳定性和质量已经到了可以再...

rlnlo2pnefx9c
2017/12/15
0
0
[总结型] HADOOP HDFS BALANCER介绍及经验总结

转载之: http://www.aboutyun.com/thread-7354-1-1.html 1.集群执行balancer命令,依旧不平衡的原因是什么?该如何解决? 2.尽量不在NameNode上执行start-balancer.sh的原因是什么? 集群平...

断臂人
07/09
0
0
Hadoop伪分布式模式部署(接单机模式)

一、相关配置文件修改 ①修改core-site.xml: $ su -l hadoop$ cd /usr/local/hadoop/$ sudo vi etc/hadoop/core-site.xml fs.defaultFS hdfs://localhost:9000 注: fs.defaul......

结束的伤感
2016/04/21
0
0
Apache Hadoop 3.0.0 GA版正式发布,可以部署到线上

  日前Apache Hadoop 3.0.0 GA 版本正式发布,这意味着我们就可以正式在线上使用 Hadoop 3.0.0 了!这个版本是 Apache Hadoop 3.0.0 的第一个稳定版本,有很多重大的改进,比如支持 EC、支持...

大数据头条
2017/12/18
0
0
Apache Hadoop 3.0.0 GA 正式发布,要求 Java 8

编者注:Hadoop 发布了全新 3.0 版本,关于该版本的主要改进说明,发行说明和改进记录。 今天凌晨 Apache Hadoop 3.0.0 GA 版本正式发布,这意味着我们就可以正式在线上使用 Hadoop 3.0.0 了...

红薯
2017/12/15
4.8K
18
基于Hadoop1.2.1完全分布式集群的部署

一、准备工作 同一个局域网中的三台Linux虚拟机,发行版本均使用64位CentOS6.3,主机是 Windows 10 64位操作系统;通过 vmware workstation 实现三台虚机,这样就形成了一个以物理机为DNS服务...

灯下黑鬼吹灯
2016/11/25
97
0
Hadoop 3相对于hadoop2的 新特性

相对于之前主要生产发布版本Hadoop 2,Apache Hadoop 3整合许多重要的增强功能。 Hadoop 3是一个可用版本,提供了稳定性和高质量的API,可以用于实际的产品开发。下面简要介绍一下Hadoop3的主...

yongge1981
05/30
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Weblogic问题解决记录

问题:点击登录,页面刷新但是不进去管理界面。解决:删除cookies再登录。

wffger
26分钟前
0
0
RxJava2的错误处理方案

最近使用retrofit2 + rxKotlin2写接口访问,想尽量平铺代码,于是就想到当借口返回的状态码为「不成功」时(比如:code != 200),就连同网络错误一起,统一在onError方法中处理。想法总是好的...

猴亮屏
33分钟前
0
0
程序的调试信息

调试二进制程序时,经常要借助GDB工具,跟踪程序的执行流程,获取程序执行时变量的值,以发现问题所在。GDB能得到这些信息,是因为编译程序时,编译器保存了相应的信息。Linux下的可执行程序...

qlee
56分钟前
0
0
应用级缓存

缓存命中率 从缓存中读取数据的次数与总读取次数的比例,命中率越高越好 java缓存类型 堆缓存 guavaCache Ehcache3.x 没有序列化和反序列化 堆外缓存ehcache3.x 磁盘缓存 存储在磁盘上 分布式...

writeademo
今天
0
0
python爬虫日志(3)find(),find_all()函数

1.一般来说,为了找到BeautifulSoup对象内任何第一个标签入口,使用find()方法。 以上代码是一个生态金字塔的简单展示,为了找到第一生产者,第一消费者或第二消费者,可以使用Beautiful Sou...

茫羽行
今天
0
0
java:thread:顺序执行多条线程

实现方案: 1.调用线程的join方法:阻塞主线程 2.线程池 package com.java.thread.test;public class MyThread01 implements Runnable {@Overridepublic void run() {Syste...

人觉非常君
今天
0
0
ElasticSearch 重写IK分词器源码设置mysql热词更新词库

常用热词词库的配置方式 1.采用IK 内置词库 优点:部署方便,不用额外指定其他词库位置 缺点:分词单一化,不能指定想分词的词条 2.IK 外置静态词库 优点:部署相对方便,可以通过编辑指定文...

键走偏锋
今天
19
0
Git 2.18版本发布:支持Git协议v2,提升性能

Git 2.18版本发布:支持Git协议v2,提升性能Git 2.18版本发布:支持Git协议v2,提升性能 新版本协议的主要驱动力是使 Git 服务端能够对各种 ref(分支与 tag)进行过滤操作。 这就意味着,G...

linux-tao
今天
0
0
python浏览器自动化测试库【2018/7/22-更新】

64位py2.7版本 更新 document_GetResources 枚举页面资源 document_GetresourceText 获取指定url的内容 包括页面图片 下载地址下载地址 密码:upr47x...

开飞色
今天
44
0
关于DCL双重锁失效及解决方案

关于DCL双重锁失效及解决方案 Double Check Lock (DCL)实现单例 DCL 方式实现单例的优点是既能够在需要时才初始化单例,又能够保证线程安全,且单例对象初始化后调用getInstance方法不进行...

DannyCoder
今天
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部