文档章节

【Spark课程】18小时掌握Saprk,把云计算大数据速度提升100倍

Spark亚太研究院
 Spark亚太研究院
发布于 2014/06/17 09:09
字数 1577
阅读 719
收藏 0

如何把云计算大数据处理速度提高100倍以上?Spark给出了答案。

Spark是可以革命Hadoop的目前唯一替代者,能够做Hadoop做的一切事情,同时速度比Hadoop快了100倍以上,下图来自Spark的官方网站:

 

可以看出在Spark特别擅长的领域其速度比Hadoop快120倍以上!

Spark是基于内存,是云计算领域的继Hadoop之后的下一代的最热门的通用的并行计算框架开源项目,尤其出色的支持Interactive Query、流计算、图计算等。

Spark在机器学习方面有着无与伦比的优势,特别适合需要多次迭代计算的算法。同时Spark的拥有非常出色的容错和调度机制,确保系统的稳定运行,Spark目前的发展理念是通过一个计算框架集合SQL、Machine Learning、Graph Computing、Streaming Computing等多种功能于一个项目中,具有非常好的易用性。

目前SPARK已经构建了自己的整个大数据处理生态系统,如流处理、图技术、机器学习、NoSQL查询等方面都有自己的技术,并且是Apache顶级Project,可以预计的是2014年下半年在社区和商业应用上会有爆发式的增长。

       国内的淘宝、优酷土豆等已经使用Spark技术用于自己的商业生产系统中,国内外的应用开始越来越广泛,国外一些大型互联网公司已经部署了Spark。甚至连Yahoo是Hadoop的早期主要贡献者,现在也在多个项目中部署使用Spark,国内我们已经在运营商、电商等传统行业部署了Spark。

 

课程介绍  

鉴于Spark的巨大价值和潜力,同时由于国内极度缺乏Spark人才,Spark亚太研究院在对Spark潜心研究(2012年1月起)2年多后,在完成了对Spark源码的彻底研究的同时不断在实际环境中使用Spark的各种特性的基础之上,编写了世界上第一本系统性的Spark书籍并开设了世界上第一个系统性的Spark课程,课程包含Spark的集群系统运作原理、Spark的编程模型和语言、Spark框架源码剖析、Spark的流处理框架Spark Streaming、Shark、Machine Learning on Spark以及Spark多语言编程,同时对Spark的测试,最后涵盖了使用Spark的一些最佳实践(如何调优、并发的限制、日志的查看、序列化和反序列化等),从零基础入门到达商业级实战,祝你和公司轻松驾驭Spark,从此自由翱翔于云计算大数据的天空!

 

培训对象

  • 云计算大数据从业者;

  • Hadoop使用者;

  •  系统架构师、系统分析师、高级程序员、资深开发人员;

  • 牵涉到大数据处理的数据中心运行、规划、设计负责人;

  • 政府机关,金融保险、移动和互联网等大数据来源单位的负责人;

  • 高校、科研院所涉及到大数据与分布式数据处理的项目负责人;

  • 数据仓库管理人员、建模人员,分析和开发人员、系统管理人员、数据库管理人员以及对数据仓库感兴趣的其他人员;

 

学员基础

了解面向对象编程;

了解Linux的基本使用;

 

培训内容

  • 1堂课:Spark的架构设计

  • 2堂课实战使用三种语言开发Spark

  • 3堂课快速掌握Scala

  • 4堂课:Spark集群的安装和设置

  • 5堂课编写Spark程序

  • 6堂课:SparkContext解析和数据加载以及存储

  • 7堂课:深入实战RDD

  • 8堂课:Shark的原理和使用

  • 9堂课:Spark程序的测试

  • 10堂课:Spark的优化

  • 11堂课:Spark的机器学习

  • 12堂课:Spark的图计算GraphX

  • 13堂课:Spark SQL

  • 14堂课:Spark实时流处理

 

讲师介绍

王家林老师 

Spark亚太研究院院长

Spark源码级专家,对Spark潜心研究(20121月起)2年多后,在完成了对Spark源码的彻底研究的同时不断在实际环境中使用Spark的各种特性的基础之上,编写了世界上第一本系统性的Spark书籍并开设了世界上第一个系统性的Spark课程

Hadoop源码级专家,曾负责某知名公司的类Hadoop框架开发工作,专注于Hadoop一站式解决方案的提供,同时也是云计算分布式大数据处理的最早实践者之一,Hadoop的狂热爱好者,不断的在实践中用Hadoop解决不同领域的大数据的高效处理和存储,现在正负责Hadoop在搜索引擎中的研发等,著有《云计算分布式大数据Hadoop实战高手之路---从零开始》《云计算分布式大数据Hadoop实战高手之路---高手崛起》《云计算分布式大数据Hadoop。实战高手之路---高手之巅》等;

Android架构师、高级工程师、咨询顾问、培训专家;

通晓Android、HTML5、Hadoop,迷恋英语播音和健美;

致力于Android、HTML5、Hadoop的软、硬、云整合的一站式解决方案;

内最早(2007年)从事于Android系统移植、软硬整合、框架修改、应用程序软件开发以及Android系统测试和应用软件测试的技术专家和技术创业人员之一。

HTML5技术领域的最早实践者(2009年)之一,成功为多个机构实现多款自定义HTML5浏览器,参与某知名的HTML5浏览器研发;

   超过10IT畅销书作者

更多课程:请关注www.sparkinchina.com

© 著作权归作者所有

Spark亚太研究院
粉丝 76
博文 73
码字总数 35236
作品 0
朝阳
技术主管
私信 提问
加载中

评论(0)

【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第1节②

三、你为什么需要Spark; 你需要Spark的十大理由: 1,Spark是可以革命Hadoop的目前唯一替代者,能够做Hadoop做的一切事情,同时速度比Hadoop快了100倍以上: Logistic regression in Hadoo...

Spark亚太研究院
2014/12/16
462
2
18小时内掌握Spark,全面提升Spark技能!

伴随着大数据相关技术和产业的逐步成熟,继Hadoop之后,Spark技术以其无可比拟的优势,发展迅速,将成为替代Hadoop的下一代云计算、大数据核心技术。   Spark是基于内存,是云计算领域的继...

Spark亚太研究院
2014/06/12
101
0
【免费在线讲座】革命Hadoop, Spark如何100倍提高云计算处理速度!

云计算、大数据浪潮来袭, 继Hadoop之后,谁将是下一代最热门的技术? 如何把云计算大数据处理速度提高100倍? 如何在最短的时间内掌握Spark技术核心? Spark人才极度匮乏,如何成为年薪百万...

Spark亚太研究院
2014/06/15
13
0
【免费在线讲座】革命Hadoop, Spark如何100倍提高云计算处理速度!

云计算、大数据浪潮来袭, 继Hadoop之后,谁将是下一代最热门的技术? 如何把云计算大数据处理速度提高100倍? 如何在最短的时间内掌握Spark技术核心? Spark人才极度匮乏,如何成为年薪百万...

Spark亚太研究院
2014/06/15
60
0
教你如何成为Spark大数据高手

Spark目前被越来越多的企业使用,和Hadoop一样,Spark也是以作业的形式向集群提交任务,那么如何成为Spark大数据高手?下面就来个深度教程。 分享之前我还是要推荐下我自己创建的大数据学习交...

风火数据
2018/05/20
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Word文档中遇到不认识的字怎么办?word 2019 for Mac自带拼音功能你知道吗?

Word 2019 for Mac中遇到不认识的字怎么办?你是不是要告诉我,找百度!那如果没有网又该怎么办? 经常接触文档,总会遇到很多不认识的字,不用百度只用Word也能快速读对,一起来学学吧! wo...

mac小叮当
13分钟前
7
0
docker下mysql8版本的安装运行及navicat的连接

一、下载 $ docker pull mysql:8.0.19 一般来说这个速度是比较慢的,我试了几次都不行,只好换一个国内的镜像: $ mkdier -p /etc/docker$ tee /etc/docker/daemon.json << 'EOF'{ 'r......

最深的夜
18分钟前
5
0
游戏音频未来发展趋势

游戏音频根据各自声音特点可以分为:游戏音乐、音效与配音。无论是游戏音乐、游戏音效还是 游戏配音对于游戏有着极其重要的作用,那么未来游戏音频将会有什么样的发展趋势呢?跟着小编一起来...

奇亿音乐
19分钟前
10
0
harbor安装使用

1. 先安装环境docker docker-compose 2. 从https://github.com/goharbor/harbor/releases 下载最新的。 如harbor-online-installer-v1.10.2.tgz 3. 解压 tar -xvf harbor-online-installer......

杰仪
25分钟前
14
0
服务器一般需要打开哪些端口?

一般我们只开放常用的端口号。例如,20,21,23,80等。   21:FTP服务所开放的端口,用于上传、下载文件。   22:SSH端口,用于通过命令行模式远程连接Linux服务器或vps。   23:Tel...

Cloudam云端
27分钟前
12
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部