文档章节

大数据教程(6.1)hadoop生态圈介绍及就业前景

em_aaron
 em_aaron
发布于 10/24 00:05
字数 1223
阅读 10
收藏 0

1. HADOOP背景介绍
    1.1、什么是HADOOP
            1.HADOOP是apache旗下的一套开源软件平台
            2.HADOOP提供的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理
            3.HADOOP的核心组件有
               A.HDFS(分布式文件系统)
               B.YARN(运算资源调度系统)
               C.MAPREDUCE(分布式运算编程框架)
            4.广义上来说,HADOOP通常是指一个更广泛的概念——HADOOP生态圈

               hadoop分布式执行框架草图:

 

    1.2、HADOOP产生背景
            1.HADOOP最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎,包括网页抓取、索引、查询等功能,但随着抓取网页数量的增加,遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。
            2.2003年、2004年谷歌发表的两篇论文为该问题提供了可行的解决方案。
               ——分布式文件系统(GFS),可用于处理海量网页的存储
               ——分布式计算框架MAPREDUCE,可用于处理海量网页的索引计算问题。
            3.Nutch的开发人员完成了相应的开源实现HDFS和MAPREDUCE,并从Nutch中剥离成为独立项目HADOOP,到2008年1月,HADOOP成为Apache顶级项目,迎来了它的快速发展期。

    1.3、HADOOP在大数据、云计算中的位置和关系
            1.云计算是分布式计算、并行计算、网格计算、多核计算、网络存储、虚拟化、负载均衡等传统计算机技术和互联网技术融合发展的产物。借助IaaS(基础设施即服务)、PaaS(平台即服务)、SaaS(软件即服务)等业务模式,把强大的计算能力提供给终端用户。

            2.现阶段,云计算的两大底层支撑技术为“虚拟化”和“大数据技术”

            3.而HADOOP则是云计算的PaaS层的解决方案之一,并不等同于PaaS,更不等同于云计算本身。

    1.4、国内外HADOOP应用案例介绍

            1、HADOOP应用于数据服务基础平台建设

            2、HADOOP用于用户画像

            3、HADOOP用于网站点击流日志数据挖掘

    1.5、国内HADOOP的就业情况分析
            1、HADOOP就业整体情况
                A.大数据产业已纳入国家十三五规划
                B.各大城市都在进行智慧城市项目建设,而智慧城市的根基就是大数据综合平台
                C.互联网时代数据的种类,增长都呈现爆发式增长,各行业对数据的价值日益重视
                D.相对于传统JAVAEE技术领域来说,大数据领域的人才相对稀缺
                E.随着现代社会的发展,数据处理和数据挖掘的重要性只会增不会减,因此,大数据技术是一个尚在蓬勃发展且具有长远前景的领域
            2、HADOOP就业职位要求
                大数据是个复合专业,包括应用开发、软件平台、算法、数据挖掘等,因此,大数据技术领域的就业选择是多样的,但就HADOOP 而言,通常都需要具备以下技能或知识:
                A.HADOOP分布式集群的平台搭建
                B.HADOOP分布式文件系统HDFS的原理理解及使用
                C.HADOOP分布式运算框架MAPREDUCE的原理理解及编程
                D.Hive数据仓库工具的熟练应用
                E.Flume、sqoop、oozie等辅助工具的熟练使用
                F.Shell/python等脚本语言的开发能力
           3、HADOOP相关职位的薪资水平
                大数据技术或具体到HADOOP的就业需求目前主要集中在北上广深一线城市,薪资待遇普遍高于传统JAVAEE开发人员,以北京为                    例:

        1.6 HADOOP生态圈以及各组成部分的简介

重点组件:
HDFS:分布式文件系统
MAPREDUCE:分布式运算程序开发框架
HIVE:基于大数据技术(文件系统+运算框架)的SQL数据仓库工具
HBASE:基于HADOOP的分布式海量数据库,用于离线分析和在线业务
ZOOKEEPER:分布式协调服务基础组件
Mahout:基于mapreduce/spark/flink等分布式运算框架的机器学习算法库
Oozie:工作流调度框架
Sqoop:数据导入导出工具(可用作关系型数据库和hdfs的数据迁移工具)
Flume:日志数据采集框架

 

© 著作权归作者所有

共有 人打赏支持
em_aaron
粉丝 60
博文 65
码字总数 96094
作品 3
黄浦
高级程序员
私信 提问
大数据怎样才能踏入进去?年薪60万大数据架构师教你如何入门!

1.Linux基础和分布式集群技术 学完此阶段可掌握的核心能力: 熟练使用Linux,熟练安装Linux上的软件,了解熟悉负载均衡、高可靠等集群相关概念,搭建互联网高并发、高可靠的服务架构; 学完此...

董黎明
06/09
0
0
Hadoop专业解决方案-第一章 大数据和Hadoop生态圈

一、前言:   非常感谢Hadoop专业解决方案群:313702010,兄弟们的大力支持,在此说一声辛苦了,经过两周的努力,已经有啦初步的成果,目前第1章 大数据和Hadoop生态圈小组已经翻译完成,在...

张子良
2014/01/21
0
0
大数据经典学习路线(及供参考)之 一

1.Linux基础和分布式集群技术 学完此阶段可掌握的核心能力: 熟练使用Linux,熟练安装Linux上的软件,了解熟悉负载均衡、高可靠等集群相关概念,搭建互联网高并发、高可靠的服务架构; 学完此...

柯西带你学编程
05/22
0
0
hadoop生态圈的详解

学习和使用hadoop有一年了,这里主要分享一下对hadoop整体上的理解,分门别类的介绍一下相关组件,最后提供了建议的学习路线,希望对hadoop的初学者有参考作用。 1. Hadoop核心件组有哪些? 广...

cpaqyx
2017/06/25
0
0
超人学院大数据高新就业班第八期火爆招生中

当今最红的名词是大数据,掌握趋势,才能赢得未来! 技术改变命运,你想改变自己的命运吗?想拥有高薪的工作,舒适的办公环境吗?那就来超人学院吧!这是你最好的选择,没有之一! 技术难度高...

超人学院
2015/06/08
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Hive的三种Join方式

Hive中就是把Map,Reduce的Join拿过来,通过SQL来表示。 参考链接:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Joins Common/Shuffle/Reduce Join Reduce Join在Hiv......

GordonNemo
3分钟前
0
0
Spark学习记录(三)核心API模块介绍

spark ------------- 基于hadoop的mr,扩展MR模型高效使用MR模型,内存型集群计算,提高app处理速度。 spark特点 ------------- 速度:在内存中存储中间结果。 支持多种语言。Scala、Java、P...

我爱春天的毛毛雨
9分钟前
0
0
PHP5、PHP7安装

11月13日任务 11.10/11.11/11.12 安装PHP5 11.13 安装PHP7 PHP官网www.php.net 当前主流版本为5.6/7.1 cd /usr/local/src/ wget http://cn2.php.net/distributions/php-5.6.32.tar.bz2 tar z......

zgxlinux
10分钟前
0
0
React 项目结构和组件命名之道

摘要: > * 原文地址:[structuring projects and naming components in react](https://hackernoon.com/structuring-projects-and-naming-components-in-react-1261b6e18d76) > * 原文作者:......

阿里云官方博客
10分钟前
1
0
无维护地稳定运行了8 年的 Hyperic HQ

最近在诊断一个系统意外停机时, 发现一个8年前部署部署的Hypeirc HQ 4.2,已经免维护,稳定运行了8年多。提供了及时的诊断信息。

MartinKing
24分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部