加载中
Yarn 事件分发调度

yarn:调度框架,基于事件 AsyncDispatcher:异步事件分发器,总管道 参数: 事件队列:BlockingQueue<Event> eventQueue 事件分发器:eventDispatchers = new HashMap<Class<? extends Enum...

2017/05/03 23:51
195
Hadoop 之 RM初始化、远程调试

JAVA进程、核心的Hadoop类 1.HDFS:数据存储 org.apache.hadoop.hdfs.server.namenode.NameNode org.apache.hadoop.hdfs.server.datanode.DataNode org.apache.hadoop.hdfs.server.namenode...

2017/05/03 22:09
352
Hadoop 之Job提交推演

Job提交推演: 1.Job job = Job.getInstance(); 2.job.waitForCompletion(); job.submit(); submitter.submitJobInternal(Job.this, cluster); //检查目录是否存在 checkSpecs(job); //准备h...

2017/05/03 21:17
93
Ant 的使用

工程下新建一个build.xml文档。 <project name="HadoopDemo" basedir=".">   <target name="prepare">     <delete dir="${basedir}/target/classes"/>     <mkdir dir="${basedir}/target/class...

2017/04/29 17:42
57
Hadoop MapReduce原理之核心类

Job: 允许user设置、提交、控制执行、查询状态。 setXXX方法必须在sumbit之前调用。 The job submitter's view of the Job. It allows the user to configure the job, submit it, control...

2017/04/26 22:35
150
Hadoop MapReduce 原理

MapReduce 执行的三个步骤: 1. 客户端(Client)提交作业(job)给资源管理器(ResourceManager,RM) 2. RM 寻找负责人,找对应的应用主管(AppMaster,AM) 3. AM 接收指令后,开始执行 ...

2017/04/23 23:17
74
Hadoop插件安装

把hadoop-eclipse-plugin-2.x.x 放到 eclipse 放到eclipse的plugins中 重启eclipse,在 eclipse 的preference 中会多一个Hadoop Map/Reduce 条目。...

2017/04/23 22:52
93
Linux下前台/后台运行

1. 启动时 以 & 结尾,后台运行 2.已经启动的程序, 按CRTL + z //放到后台暂停 bg + %进程号,将程序放到后台运行 可通过jobs指令查看后台运行程序 bg + %进程号,将后台程序放到前台运行...

2017/04/23 19:47
157
win7下配置networks文件映射主机名和端口号利于网络访问

修改文件:C:\Windows\System32\drivers\etc\hosts 添加对应的ip 和 主机名 127.0.0.1    localhost 192.168.10.134 s1 192.168.10.135 s2 192.168.10.136 s3 192.168.10.137 s4 192.168...

2017/04/23 18:59
458
MapReduce集群模式调整配置与shell脚本处理

修改 Ubuntu 启动为文本启动模式,减少系统资源的占用。 sudo nano /etc/default/grub 注释掉 GRUB_CMDLINE_LINUX_DEFAULT="quiet" 改GRUB_CMDLINE_LINUX=”text” 去掉 #GRUB_TERMINAL=con...

2017/04/21 22:07
195
Ubuntu16.04 文本方式启动

sudo nano /etc/default/grub 注释掉 GRUB_CMDLINE_LINUX_DEFAULT="quiet" 改GRUB_CMDLINE_LINUX=”text” 去掉 #GRUB_TERMINAL=console 的注释 sudo update-grub sudo systemctl set-defaul...

2017/04/19 22:29
204
HADOOP 在 JAVA 运行

1. Mapper 2. Reducer HADOOP 的 Maven依赖包: <dependencies>             <dependency>                 <groupId>org.apache.hadoop</groupId>       ...

2017/04/14 22:01
90
Hadoop 启动代码分析

start-all 启动分析 set HADOOP_BIN_PATH = ${HADOOP_INSTALL}\sbin set HADOOP_LIBEXEC_DIR = ${HADOOP_INSTALL}\libexec ${HADOOP_INSTALL}\libexec\hadoop-config.cmd #设置环境变量 %HAD...

2017/04/14 08:31
256
Win7开启网络访问

1.gpedit.msc 计算机配置->windos 设置->安全设置->本地策略->用户权限分 配->”拒绝从网络访问这台计算机”->Guest->删除 2.开启”仅来宾”网络访问共享模式 计算机配置->windos 设置->安全...

2017/04/11 23:17
91
Hadoop在Windows下免Cygwin伪分布安装

解压HADOOP软件包到本地目录,配置环境变量HADOOP_INSTALL,配置bin, sbin路径 将hadoop-common-2.2.0/bin 目录下的hadoop缺失的文件复制到hadoop的bin目录下 注:hadoop版本与hadoop-common...

2017/04/11 22:44
226

没有更多内容

加载失败,请刷新页面

返回顶部
顶部