加载中
Yarn 事件分发调度

yarn:调度框架,基于事件 AsyncDispatcher:异步事件分发器,总管道 参数: 事件队列:BlockingQueue<Event> eventQueue 事件分发器:eventDispatchers = new HashMap<Class<? extends Enum...

2017/05/03 23:51
51
Hadoop 之 RM初始化、远程调试

JAVA进程、核心的Hadoop类 1.HDFS:数据存储 org.apache.hadoop.hdfs.server.namenode.NameNode org.apache.hadoop.hdfs.server.datanode.DataNode org.apache.hadoop.hdfs.server.namenode...

2017/05/03 22:09
75
Hadoop 之Job提交推演

Job提交推演: 1.Job job = Job.getInstance(); 2.job.waitForCompletion(); job.submit(); submitter.submitJobInternal(Job.this, cluster); //检查目录是否存在 checkSpecs(job); //准备h...

2017/05/03 21:17
18
Ant 的使用

工程下新建一个build.xml文档。 <project name="HadoopDemo" basedir=".">   <target name="prepare">     <delete dir="${basedir}/target/classes"/>     <mkdir dir="${basedir}/target/class...

2017/04/29 17:42
11
Hadoop MapReduce原理之核心类

Job: 允许user设置、提交、控制执行、查询状态。 setXXX方法必须在sumbit之前调用。 The job submitter's view of the Job. It allows the user to configure the job, submit it, control...

2017/04/26 22:35
20
Hadoop MapReduce 原理

MapReduce 执行的三个步骤: 1. 客户端(Client)提交作业(job)给资源管理器(ResourceManager,RM) 2. RM 寻找负责人,找对应的应用主管(AppMaster,AM) 3. AM 接收指令后,开始执行 ...

2017/04/23 23:17
18
Hadoop插件安装

把hadoop-eclipse-plugin-2.x.x 放到 eclipse 放到eclipse的plugins中 重启eclipse,在 eclipse 的preference 中会多一个Hadoop Map/Reduce 条目。...

2017/04/23 22:52
5
Linux下前台/后台运行

1. 启动时 以 & 结尾,后台运行 2.已经启动的程序, 按CRTL + z //放到后台暂停 bg + %进程号,将程序放到后台运行 可通过jobs指令查看后台运行程序 bg + %进程号,将后台程序放到前台运行...

2017/04/23 19:47
6
win7下配置networks文件映射主机名和端口号利于网络访问

修改文件:C:\Windows\System32\drivers\etc\hosts 添加对应的ip 和 主机名 127.0.0.1    localhost 192.168.10.134 s1 192.168.10.135 s2 192.168.10.136 s3 192.168.10.137 s4 192.168...

2017/04/23 18:59
20
Hadoop 集群模式深入定制切割与副本数以及块大小定制

gz 文件不能切割(split),无法创建多个map函数,整体输入map函数 解压 gz 文件,对原生文件进行处理 在map中获取切割长度 split切割准则 1.不能超过max blocksize,否则=maxblocksize 2.可以...

2017/04/23 16:50
30
Hadoop 集群模式调整配置最小块设置与web访问

调整配置最小块设置: hdfs.xml <property>   <name>dfs.namenode.fs-limits.min-block-size</name>   <value>1048576</value> </property> 从本地主机把文件放到HDFS中: ubuntu@s1:/Downloa...

2017/04/23 15:27
15
MapReduce集群模式调整配置与shell脚本处理

修改 Ubuntu 启动为文本启动模式,减少系统资源的占用。 sudo nano /etc/default/grub 注释掉 GRUB_CMDLINE_LINUX_DEFAULT="quiet" 改GRUB_CMDLINE_LINUX=”text” 去掉 #GRUB_TERMINAL=con...

2017/04/21 22:07
24
Ubuntu16.04 文本方式启动

sudo nano /etc/default/grub 注释掉 GRUB_CMDLINE_LINUX_DEFAULT="quiet" 改GRUB_CMDLINE_LINUX=”text” 去掉 #GRUB_TERMINAL=console 的注释 sudo update-grub sudo systemctl set-defaul...

2017/04/19 22:29
22
HADOOP 在 JAVA 运行

1. Mapper 2. Reducer HADOOP 的 Maven依赖包: <dependencies>             <dependency>                 <groupId>org.apache.hadoop</groupId>       ...

2017/04/14 22:01
19
Hadoop 启动代码分析

start-all 启动分析 set HADOOP_BIN_PATH = ${HADOOP_INSTALL}\sbin set HADOOP_LIBEXEC_DIR = ${HADOOP_INSTALL}\libexec ${HADOOP_INSTALL}\libexec\hadoop-config.cmd #设置环境变量 %HAD...

2017/04/14 08:31
51
Hadoop架构分析

官网介绍: http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html 机架、交换机、节点 Hadoop分布式文件系统 按需定制MapReduce 目标在于多次的文件流读取...

2017/04/12 21:24
12
Win7开启网络访问

1.gpedit.msc 计算机配置->windos 设置->安全设置->本地策略->用户权限分 配->”拒绝从网络访问这台计算机”->Guest->删除 2.开启”仅来宾”网络访问共享模式 计算机配置->windos 设置->安全...

2017/04/11 23:17
8
Hadoop在Windows下免Cygwin伪分布安装

解压HADOOP软件包到本地目录,配置环境变量HADOOP_INSTALL,配置bin, sbin路径 将hadoop-common-2.2.0/bin 目录下的hadoop缺失的文件复制到hadoop的bin目录下 注:hadoop版本与hadoop-common...

2017/04/11 22:44
47
HADOOP配置

独立模式、伪分布式模式、完全分布式模式、SSH

2017/04/01 01:46
166
Hadoop 安装

JDK安装、Hadoop安装

2017/03/31 09:03
18

没有更多内容

加载失败,请刷新页面

返回顶部
顶部