加载中
mr程序实现map side join和reduce side join原理

前提:两个表进行inner join 1、map side join 效率比reduce side join高,不会产生shuffle 第一步:使用DistributeCache.addCacheFile将一个文件分布式的缓存到每一台机器本地,这一步要在j...

2019/06/19 22:16
281
SSH协议与SSH免登陆

1.使用A主机给B主机发送命令 首先拥有两台主机,配置IP使其可以通信, ssh192.168.92.129 mkdir /20151020 给192.168.92.129这台主机发送创建20151020 目录的命令 2.配置SSH免登陆 cd~ ssh-...

2015/12/18 23:03
67
关于namenode的那些事

1.namenode简介 2.namenode工作特点 3.namenode工作原理 3.1.切换edits 产生一个新的edits文件 3.2.获取数据: 将fsimage与edits获取到,加载到内存(通过http协议),fsimage保存最新的check...

2015/12/18 23:03
48
hadoop伪分布式搭建

1.首先官网下载最新稳定版hadoop tar.gz,解压到linux中 2.配置hdfs 2.1将hadoop添加到环境变量中 vim/etc/profile exportJAVA_HOME=/usr/java/jdk1.7.0_55 exportHADOOP_HOME=/itcast/hado...

2015/12/18 23:02
42
RPC机制与hdfs下载源码剖析

这里没有贴出源码,有兴趣的可以debug跟踪然后根据我的源码描述,看懂hdfs是怎么下载文件的 1.RPC机制 接口代理: public interface Businesable{ public static final long versionID= 10010...

2015/12/18 23:02
65
MapReduce的那些事

1.mapreduce简介 2.MapReduce的工作原理 2.1 wordcount测试 在执行wordcount时,首先将文件上传到hdfs上,运行jar开启Runjar进程,然后开启MRAppMaster进程,此进程管理任务,充当老大。然后...

2015/12/18 23:02
88

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部