文档章节

大数据教程(6.1)hadoop生态圈介绍及就业前景

em_aaron
 em_aaron
发布于 2018/10/24 00:05
字数 1223
阅读 27
收藏 1

1. HADOOP背景介绍
    1.1、什么是HADOOP
            1.HADOOP是apache旗下的一套开源软件平台
            2.HADOOP提供的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理
            3.HADOOP的核心组件有
               A.HDFS(分布式文件系统)
               B.YARN(运算资源调度系统)
               C.MAPREDUCE(分布式运算编程框架)
            4.广义上来说,HADOOP通常是指一个更广泛的概念——HADOOP生态圈

               hadoop分布式执行框架草图:

 

    1.2、HADOOP产生背景
            1.HADOOP最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎,包括网页抓取、索引、查询等功能,但随着抓取网页数量的增加,遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。
            2.2003年、2004年谷歌发表的两篇论文为该问题提供了可行的解决方案。
               ——分布式文件系统(GFS),可用于处理海量网页的存储
               ——分布式计算框架MAPREDUCE,可用于处理海量网页的索引计算问题。
            3.Nutch的开发人员完成了相应的开源实现HDFS和MAPREDUCE,并从Nutch中剥离成为独立项目HADOOP,到2008年1月,HADOOP成为Apache顶级项目,迎来了它的快速发展期。

    1.3、HADOOP在大数据、云计算中的位置和关系
            1.云计算是分布式计算、并行计算、网格计算、多核计算、网络存储、虚拟化、负载均衡等传统计算机技术和互联网技术融合发展的产物。借助IaaS(基础设施即服务)、PaaS(平台即服务)、SaaS(软件即服务)等业务模式,把强大的计算能力提供给终端用户。

            2.现阶段,云计算的两大底层支撑技术为“虚拟化”和“大数据技术”

            3.而HADOOP则是云计算的PaaS层的解决方案之一,并不等同于PaaS,更不等同于云计算本身。

    1.4、国内外HADOOP应用案例介绍

            1、HADOOP应用于数据服务基础平台建设

            2、HADOOP用于用户画像

            3、HADOOP用于网站点击流日志数据挖掘

    1.5、国内HADOOP的就业情况分析
            1、HADOOP就业整体情况
                A.大数据产业已纳入国家十三五规划
                B.各大城市都在进行智慧城市项目建设,而智慧城市的根基就是大数据综合平台
                C.互联网时代数据的种类,增长都呈现爆发式增长,各行业对数据的价值日益重视
                D.相对于传统JAVAEE技术领域来说,大数据领域的人才相对稀缺
                E.随着现代社会的发展,数据处理和数据挖掘的重要性只会增不会减,因此,大数据技术是一个尚在蓬勃发展且具有长远前景的领域
            2、HADOOP就业职位要求
                大数据是个复合专业,包括应用开发、软件平台、算法、数据挖掘等,因此,大数据技术领域的就业选择是多样的,但就HADOOP 而言,通常都需要具备以下技能或知识:
                A.HADOOP分布式集群的平台搭建
                B.HADOOP分布式文件系统HDFS的原理理解及使用
                C.HADOOP分布式运算框架MAPREDUCE的原理理解及编程
                D.Hive数据仓库工具的熟练应用
                E.Flume、sqoop、oozie等辅助工具的熟练使用
                F.Shell/python等脚本语言的开发能力
           3、HADOOP相关职位的薪资水平
                大数据技术或具体到HADOOP的就业需求目前主要集中在北上广深一线城市,薪资待遇普遍高于传统JAVAEE开发人员,以北京为                    例:

        1.6 HADOOP生态圈以及各组成部分的简介

重点组件:
HDFS:分布式文件系统
MAPREDUCE:分布式运算程序开发框架
HIVE:基于大数据技术(文件系统+运算框架)的SQL数据仓库工具
HBASE:基于HADOOP的分布式海量数据库,用于离线分析和在线业务
ZOOKEEPER:分布式协调服务基础组件
Mahout:基于mapreduce/spark/flink等分布式运算框架的机器学习算法库
Oozie:工作流调度框架
Sqoop:数据导入导出工具(可用作关系型数据库和hdfs的数据迁移工具)
Flume:日志数据采集框架

 

© 著作权归作者所有

共有 人打赏支持
em_aaron
粉丝 73
博文 104
码字总数 171862
作品 3
黄浦
高级程序员
私信 提问
大数据怎样才能踏入进去?年薪60万大数据架构师教你如何入门!

1.Linux基础和分布式集群技术 学完此阶段可掌握的核心能力: 熟练使用Linux,熟练安装Linux上的软件,了解熟悉负载均衡、高可靠等集群相关概念,搭建互联网高并发、高可靠的服务架构; 学完此...

董黎明
2018/06/09
0
0
大数据就业指导:前景分析和学习方法【另附:1T全套视频资料】

随着大数据时代的到来,有很多JAVA程序员想要转行大数据。 不得不说,大数据行业可说是为JAVA程序员量身打造的一个朝阳行业?为什么要这么说呢? 因为JAVA程序员转型大数据具有天然进阶优势,...

数据分析v
2018/11/26
0
0
大数据就业前景分析的太到位了,想学习大数据的可以看看

大数据广泛应用于电网运行、经营管理及优质服务等各大领域,并正在改变着各行各业,也引领了大数据人才的变革。大数据专业就业前景怎么样?这对于在就业迷途中的我们是一个很重要的信息。 随...

董黎明
2018/11/19
0
0
Hadoop专业解决方案-第一章 大数据和Hadoop生态圈

一、前言:   非常感谢Hadoop专业解决方案群:313702010,兄弟们的大力支持,在此说一声辛苦了,经过两周的努力,已经有啦初步的成果,目前第1章 大数据和Hadoop生态圈小组已经翻译完成,在...

张子良
2014/01/21
0
0
超人学院大数据高新就业班第八期火爆招生中

当今最红的名词是大数据,掌握趋势,才能赢得未来! 技术改变命运,你想改变自己的命运吗?想拥有高薪的工作,舒适的办公环境吗?那就来超人学院吧!这是你最好的选择,没有之一! 技术难度高...

超人学院
2015/06/08
0
0

没有更多内容

加载失败,请刷新页面

加载更多

node调用dll

先安装python2.7 安装node-gyp cnpm install node-gyp -g 新建一个Electron-vue项目(案例用Electron-vue) vue init simulatedgreg/electron-vue my-project 安装electron-rebuild cnpm ins......

Chason-洪
今天
3
0
eclipse中项目svn转gitLab全过程

在工作中,我们可能会遇到项目从svn迁移到gitLab;此过程我们需要变化版本管理工具,上传代码。本篇博客记录了使用spring tool suit(sts/eclipse)进行项目迁移的全过程。 步骤: (1)端口之...

em_aaron
今天
3
0
scala学习(一)

学习Spark之前需要学习Scala。 参考学习的书籍:快学Scala

柠檬果过
今天
1
0
通俗易懂解释网络工程中的技术,如STP,HSRP等

导读 在面试时,比如被问到HSRP的主备切换时间时多久,STP几个状态的停留时间,自己知道有这些东西,但在工作中不会经常用到,就老是记不住,觉得可能还是自己基础不够牢固,知识掌握不够全面...

问题终结者
昨天
4
0
看了一下Maven的内容

了解了Maven其实是一个跨IDE的标准构建工具,能推广的原因估计是借了仓库的便利。 另一个作用是可以通过Maven的功能在社区版的IDEA去创建Web项目,下次实践看看

max佩恩
昨天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部