加载中
Hadoop HDFS 添加节点

1 在新结点上安装Hadoop,从集群中已存在的节点上复制配置文件 2 为新节点与集群中已有节点配置免密码SSH登录 3 添加新节点的IP 到Master的 conf/slaves 中 4 在新节点上运行: bin/hadoop-d...

2015/06/04 17:26
124
Hadoop MapReduce 过程概述

一个MapReduce任务就是一个Job。Job分为2个阶段: Map 和 Reduce Map函数接收一个 <key,value>形式的输入,然后产生一个 <key,value>形式的中间输出,Hadoop会把相同中间Key值的value集合在一...

2015/06/04 17:27
191
Hadoop Pig 安装

1 从http://pig.apache.org/ 下载安装包 2 解压 tar xvf pig-0.12.0.tar.gz 3 配置环境变量 export PIG_CLASSPATH=$HADOOP_INSTALL/conf/ export PATH=$PATH: /home/nathan/hadoop/pig-0.12...

2015/06/04 17:27
27
Hadoop HDFS 数据一致性

HDFS 会对写入的所有数据计算 校验和( checksum ) ,并在读取数据时 验证校验和 。针对指定字节的数目计算校验和。字节数默认是512 字节,可以通过 io.bytes.per.checksum 属性设置。通过CRC...

2015/06/04 17:26
118
Hadoop MapReduce 计数器

Hadoop 为每个 job 维护了一系列的内置计数器。计数器被分为组 通过定义一个 Java 枚举类型可以在代码中自定义计数器。枚举类型名称是计数器组名,枚举字段是计数器名称。 public class Sal...

2015/06/04 17:26
41
Hadoop HDFS SequenceFile

SequenceFile 是一个由二进制序列化过的 key/value 的字节流组成的文本存储文件,它可以在map/reduce过程中的input/output 的format时被使用。在map/reduce过程中,map处理文件的临时输出就是...

2015/06/04 17:27
191
Hadoop MapReduce Shuffle and Sort

Hadoop 确保每个reduce 的输入都是按 key 排序的。系统执行排序的过程称为shuffle. Map 端, map 产生输出时,并不是简单的把数据写到磁盘。会先缓冲在内存中,并进行一些预排序。 每个map 任...

2015/06/04 17:26
167
Hadoop MapReduce 深入MapReduce Job 提交

一个job的运行,涉及4个实体: 客户端, JobTracker, TaskTracker, HDFS 【客户端】使用 Job.submit() 提交任务,任务提交后 。 1 向 jobtracker 请求一个新的作业ID ( JobTracker. getNew...

2015/06/04 17:26
128

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部