加载中
Hadoop系列之八:Hadoop集群

1、合并MapReduce集群与HDFS集群 在调度运行一个作业时,将map任务等直接运行于要处理的数据所存储的HDFS的数据节点上,可避免大量的数据传输,实现数据处理的本地性,进而大大提高整个过程的...

关于Hadoop系列文章

Hadoop整个系列文章还要涉及到以下话题: 1、HDFS命令行接口的使用; 2、完全分布式Hadoop; 3、Hadoop硬件选型; 4、Hadoop调优; 5、Hadoop调度方法、常用参数、调优; 6、Hadoop集群维护(...

Hadoop系列之十:Hadoop配置文件及常用配置参数详解(未完成)

1、Hadoop的配置文件 hadoop-env.sh: 用于定义hadoop运行环境相关的配置信息,比如配置JAVA_HOME环境变量、为hadoop的JVM指定特定的选项、指定日志文件所在的目录路径以及master和slave文件的...

Hadoop系列之七:分布式文件系统HDFS(2)

1、访问HDFS文件系统 HDFS是工作于用户空间的文件系统,它的树状文件系统是独立的,不能像传统上工作于内核空间的文件系统一样挂载至当前操作系统的目录树上对HDFS进行访问,传统上实现文件或...

Hadoop系列之四:MapReduce进阶

1、mapper和reducer MapReduce对数据的处理分为两个阶段:map阶段和reduce阶段,这两个阶段分别由用户开发的map函数和reduce函数完成,在MapReduce运行环境中运行时,它们也分别被称为mappe...

Hadoop系列之一:大数据存储及处理平台产生的背景

传统的关系型数据库中的表通常由一个或多个字段组成,每个字段都预先定义了其可存储数据的格式及约束等,这类的数据就是结构化数据(structured data)。一个设计良好的数据库在其schema中定义...

Hadoop系列之五:MapReduce进阶(2)

1、MapReduce作业、集群及其逻辑架构 前文已经描述,MapReduce是一个编程框架,它为程序员提供了一种快速开发海量数据处理程序的编程环境,并能够让基于这种机制开发出的处理程序以稳定、容错...

Hadoop系列之六:分布式文件系统HDFS

1、MapReduce与分布式文件系统 前面的讨论中,我们已经得知,Hadoop中实现的MapReduce是一个编程模型和运行框架,它能够通过JobTracker接收客户提交的作业而后将其分割为多个任务后并行运行在...

linux运维实战练习案例-2015年12月20日-12月31日(第一次)

一、实战案例(练习)内容 假如你学习完Linux,想找一份儿Linux相关的运维工作,某天你接到一家公司给出的邀请,你来到该公司面试,面试前,运维主管给你出了一些简单的笔试题,题目如下: 1、...

马哥Linux内部学习资料已经出炉!

经过长期筹备的筹备,马哥教育推出了第一本内部学习资料,凡是参加网络班和面授班的同学均可获赠一本。 最新企业级集群解决方案视频已经更新 观看地址 全新企业级的应用场景、结合目前互联网...

2016/01/11 22:06
118
鸟哥马哥齐相聚,linux界最强音

近日,由51CTO学院和人民邮电出版社信息技术分社联合举办的[开放・见远]"鸟哥"大陆行Linux技术沙龙在位于北京市西三环久凌大厦的51CTO学院举行。 台湾著名Linux网站――"鸟哥的Linux私房菜"...

Hadoop系列之三:函数式编程语言和MapReduce

1、MapReduce和大数据问题 海量数据并行处理的核心思想无非是将一个较大的问题进行“分割包围、逐个歼灭”。然而其难点和关键点在于如何将一个大的问题分分割成多个可以分别在不同的CPU上或不...

Hadoop系列之二:大数据、大数据处理模型及MapReduce

1、大数据(big data) 什么是大数据?wikipedia上面给出了这样的定义: In information technology, big data is a collection of data sets so large and complex that it becomes difficul...

【重磅】大众点评运维架构图文详解 @马哥教育联合创始人张冠宇

嘉宾介绍 张冠宇:花名关羽,目前在大众点评做运维架构师一职。在大众点评这几年时间,见证了点评运维从无到有,从低效向高效的转变过程。 分享内容 今天分享专题大纲如图所示,从5个方面跟大...

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部