文档章节

开始Hadoop

i
 iamblake
发布于 2017/03/31 17:31
字数 468
阅读 55
收藏 3

为什么要用hadoop?

  1. 因为数据的快速增长,证券交易所的交易数据,微博、微信的照片数据、图书馆的电子图书等,数据越来越多,需要管理
  2. 数据的存储和分析,数据的存储 需要保证可用性,因此需要备份,当一份数据不能用,备份的 数据可以替代。hadoop提供了hdfs解决存储问题。数据量很大,就需要多台计算节点一起分析,因此就需要一种机制来调度和平衡各个节点的计算。hadoop提供了mapreduce实现分析处理。

hadoop的定义:

hadoop是提供了一个可靠的共享存储和分析功能的系统。hdfs实现存储,而mapreduce实现分析处理。

hadoop生态圈

  • Common

一组分布式文件系统和通用I/O的组件和接口

  • Avro

一种支持高效、跨语言的RPC以及永久存储数据的序列化系统

  • MapReduce

分布式数据处理模型和执行环境,运行于大型商用机集群

  • HDFS

分布式文件系统,运行于大型商用机集群

  • Pig

一种数据流处理语言和运行环境,用以检索非常大的数据集。pig运行在mapreduce和hdfs的集群上。

  • Hive

一个分布式、按列存储的数据仓库。Hive管理HDFS中的存储的数据,并提供基于sql的查询语言用以查询数据。

  • Hbase

一个分布式、按列存储数据库、Hbase使用hdfs作为底层存储,同时支持mapreduce的批量式计算和点查询

  • Zookeeper

一个分布式、可用性高的协调服务。zookeeper提供分布式锁之类的基本服务,用于构建分布式应用

  • Sqoop

在数据库和hdfs之间高效传输数据的工具

 

 

© 著作权归作者所有

i
粉丝 0
博文 2
码字总数 817
作品 0
私信 提问
Hadoop 目前只是“穷人的 ETL”

虽然企业部署Hadoop大数据系统的最终目的是进行“性感”的分析应用,但是大多数企业距离这一目标还很远很远。 根据IDC发布的Hadoop-MapReduce软件生态系统预测报告,Hadoop 市场正在以60%的年...

oschina
2013/05/16
11.7K
21
Hadoop"发烧期"已过,该回归理性思考了

  【IT168 评论】大数据就是Hadoop吗?当然不是,但是很多人一提到大数据就会立刻想到Hadoop。现在数据科学家利用海量数据创建数据模型为企业带来的利益是以前所不可想象的,但是数据的潜力...

it168网站
2016/10/13
0
0
Hadoop风暴来袭 风靡全球 指日可待

【IT168 评论】毫无疑问,Hadoop已经赢得了大量投资者和IT媒体的青睐,但却很少看到任何的实际产出。即将过去的2011是风暴来袭前的准备阶段,为很多新公司新用户建立了一个海量数据的分析平台...

雷锋网
2011/11/28
0
0
Hadoop学习笔记(一)从官网下载安装包

Hadoop是一个分布式系统基础架构,由Apache基金会所开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。要学习Hadoop从下载安装包开始 ...

微wx笑
2014/10/03
0
0
大象的崛起!Hadoop七年发展风雨录

在互联网这个领域一直有这样的说法:“如果老二无法战胜老大,那么就把老大赖以生存的东西开源吧”。当年Yahoo!与Google还是处在强烈竞 争关系时候,招聘了Doug(Hadoop创始人),把Google老大...

红薯
2011/09/11
11.2K
16

没有更多内容

加载失败,请刷新页面

加载更多

Spring Boot + Mybatis-Plus 集成与使用(二)

前言: 本章节介绍MyBatis-Puls的CRUD使用。在开始之前,先简单讲解下上章节关于Spring Boot是如何自动配置MyBatis-Plus。 一、自动配置 当Spring Boot应用从主方法main()启动后,首先加载S...

伴学编程
今天
7
0
用最通俗的方法讲spring [一] ──── AOP

@[TOC](用最通俗的方法讲spring [一] ──── AOP) 写这个系列的目的(可以跳过不看) 自己写这个系列的目的,是因为自己是个比较笨的人,我曾一度怀疑自己的智商不适合干编程这个行业.因为在我...

小贼贼子
今天
7
0
Flutter系列之在 macOS 上安装和配置 Flutter 开发环境

本文为Flutter开发环境在macOS下安装全过程: 一、系统配置要求 想要安装并运行 Flutter,你的开发环境需要最低满足以下要求: 操作系统:macOS(64位) 磁盘空间:700 MB(不包含 IDE 或其余...

過愙
今天
6
0
OSChina 周六乱弹 —— 早上儿子问我他是怎么来的

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @凉小生 :#今日歌曲推荐# 少点戾气,愿你和这个世界温柔以待。中岛美嘉的单曲《僕が死のうと思ったのは (曾经我也想过一了百了)》 《僕が死の...

小小编辑
今天
2.5K
16
Excption与Error包结构,OOM 你遇到过哪些情况,SOF 你遇到过哪些情况

Throwable 是 Java 中所有错误与异常的超类,Throwable 包含两个子类,Error 与 Exception 。用于指示发生了异常情况。 Java 抛出的 Throwable 可以分成三种类型。 被检查异常(checked Exc...

Garphy
今天
42
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部