加载中
Yarn 事件分发调度

yarn:调度框架,基于事件 AsyncDispatcher:异步事件分发器,总管道 参数: 事件队列:BlockingQueue<Event> eventQueue 事件分发器:eventDispatchers = new HashMap<Class<? extends Enum...

2017/05/03 23:51
195
Hadoop 之 RM初始化、远程调试

JAVA进程、核心的Hadoop类 1.HDFS:数据存储 org.apache.hadoop.hdfs.server.namenode.NameNode org.apache.hadoop.hdfs.server.datanode.DataNode org.apache.hadoop.hdfs.server.namenode...

2017/05/03 22:09
352
Hadoop 之Job提交推演

Job提交推演: 1.Job job = Job.getInstance(); 2.job.waitForCompletion(); job.submit(); submitter.submitJobInternal(Job.this, cluster); //检查目录是否存在 checkSpecs(job); //准备h...

2017/05/03 21:17
93
Hadoop MapReduce 原理

MapReduce 执行的三个步骤: 1. 客户端(Client)提交作业(job)给资源管理器(ResourceManager,RM) 2. RM 寻找负责人,找对应的应用主管(AppMaster,AM) 3. AM 接收指令后,开始执行 ...

2017/04/23 23:17
74
Hadoop插件安装

把hadoop-eclipse-plugin-2.x.x 放到 eclipse 放到eclipse的plugins中 重启eclipse,在 eclipse 的preference 中会多一个Hadoop Map/Reduce 条目。...

2017/04/23 22:52
93
MapReduce集群模式调整配置与shell脚本处理

修改 Ubuntu 启动为文本启动模式,减少系统资源的占用。 sudo nano /etc/default/grub 注释掉 GRUB_CMDLINE_LINUX_DEFAULT="quiet" 改GRUB_CMDLINE_LINUX=”text” 去掉 #GRUB_TERMINAL=con...

2017/04/21 22:07
195
HADOOP 在 JAVA 运行

1. Mapper 2. Reducer HADOOP 的 Maven依赖包: <dependencies>             <dependency>                 <groupId>org.apache.hadoop</groupId>       ...

2017/04/14 22:01
90
Hadoop 启动代码分析

start-all 启动分析 set HADOOP_BIN_PATH = ${HADOOP_INSTALL}\sbin set HADOOP_LIBEXEC_DIR = ${HADOOP_INSTALL}\libexec ${HADOOP_INSTALL}\libexec\hadoop-config.cmd #设置环境变量 %HAD...

2017/04/14 08:31
256
Hadoop在Windows下免Cygwin伪分布安装

解压HADOOP软件包到本地目录,配置环境变量HADOOP_INSTALL,配置bin, sbin路径 将hadoop-common-2.2.0/bin 目录下的hadoop缺失的文件复制到hadoop的bin目录下 注:hadoop版本与hadoop-common...

2017/04/11 22:44
226
1. Hadoop 简介

一个计算框架 优点:分布式、可靠、可伸缩 主要使用领域:搜索引擎、海量数据存储 hadoop 主要用于处理海量数据。 1. 存储 分布式文件系统:HDFS,hadoop distributed file system 2. 运算 ...

2017/03/24 01:05
60

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部