文档章节

hadoop 知识

Scofieldxs
 Scofieldxs
发布于 2017/08/08 20:30
字数 167
阅读 12
收藏 1

##7.hadoop

  1. 基本架构

    1. hdfs:分布式文件系统
    2. map-reduce:分布式计算框架
  2. hdfs

    1. NameNode:一个,系统总管,管理hdfs目录树
    2. DateNode:一个节点,实际数据存储
  3. MapReduce框架

    1. JobTracker
    2. TaskTracker
  4. map过程

  5. reduce过程

  6. Partitioner

    1. 作用是对Mapper产生的中间结果进行分片,将同一分组的数据交给同一个reducer处理

    2. 默认hash分片

      (key.hashcode & Integer.MAX_VALUE) % reduce_num

  7. 任务选择策略: map task最重要的策略是:数据本地性

  8. 任务调度器:FIFO

  9. task运行过程

    1. map输出分布式排序:先由各个map task对输出进行局部排序,然后reduce task进行全局排序
    2. reduce

© 著作权归作者所有

共有 人打赏支持
上一篇: DBGT
下一篇: pandas操作
Scofieldxs
粉丝 3
博文 24
码字总数 26524
作品 0
海淀
私信 提问
零基础学习hadoop开发先明白这层关系

大数据hadoop无疑是当前互联网领域受关注热度最高的词之一,大数据技术的应用正在潜移默化中对我们的生活和工作产生巨大的改变。这种改变给我们的感觉是“水到渠成”,更为让人惊叹的是大数据...

左手的倒影
08/29
0
0
零基础学习hadoop到上手工作线路指导(初级篇)

零基础学习hadoop,没有想象的那么困难,也没有想象的那么容易。才刚接触大数据时,曾经想过培训,但是培训机构的选择就让我很纠结。因为师兄跟我说,很多培训机构的老师其实以前就是他们的学...

我思gu我在
2017/01/09
211
3
Hadoop项目实战-用户行为分析之应用概述(三)

1.概述   本课程的视频教程地址:《项目工程准备》   本节给大家分享的主题如下图所示:   下面我开始为大家分享今天的第三节的内容——《项目工程准备》,接下来开始分享今天的内容。...

smartloli
2015/06/11
0
0
Cloudera 数据分析师培训:Pig、Hive和 Impala(CCA159)

Cloudera 数据分析师培训:Pig、Hive和 Impala 通过 Cloudera 公司的 Apache Hadoop 培训将您的知识提升到一个新的水平。 Cloudera 大学提供的为期四天的数据分析培训课程专注于 Apache Pig...

活动家
2017/06/26
88
0
Cloudera 数据分析师培训:Pig、Hive 和 Impala 

本次培训将于2017年12月2日至5日在上海举办,Cloudera 数据分析师培训:Pig、Hive 和 Impala 报名平台活动家。 通过Cloudera 公司的Apache Hadoop 培训将您的知识提升到一 个新的水平。 Clou...

活动家
2017/10/16
0
0

没有更多内容

加载失败,请刷新页面

加载更多

新手也能看懂,消息队列其实很简单

该文已加入开源项目:JavaGuide(一份涵盖大部分Java程序员所需要掌握的核心知识的文档类项目,Star 数接近 16k)。地址:https://github.com/Snailclimb/JavaGuide. 本文内容思维导图: 消息...

阿里云官方博客
38分钟前
5
0
如何在Chrome浏览器中启动deviceready事件(尝试调试phonegap项目)?

我正在开发PhoneGap应用程序,我希望能够在Chrome中调试它,而不是在电话上调试。但是,我在onGetReady()函数中初始化我的代码,该函数在PhoneGap触发“deviceready”事件时触发。由于Chr...

kisshua
今天
9
0
nginx中部署vue打包后的静态文件

如何在nginx中部署静态资源就不描述了, 请看我的这篇博客 将vue脚手架项目打包后的静态文件放到nginx上, 发现有个问题, 即url上有#, 怎么去掉这个#呢. 1 项目中router的mode 路由的mode要为h...

克虏伯
今天
13
0
JS容易理解错误的地方

在这端代码执行的末尾,你会不会hi变量回事函数中的hi了?你会不会认为这不是按引用传递了? 对值传递和引用传递产生质疑了? 1 var hi = {};2 function sayHello(hi) { ...

器石_
今天
10
0
Java开发学习--MongoDB

之前只学过sql,第一次使用非关系型数据库。以前对于关系型数据库与非关系型数据库的概念很模糊,通过这次的学习对这两者有了一个清晰的概念。 主键 在MongoDB中,主键名叫"_id",如果在生成...

微笑向暖wx
今天
10
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部