文档章节

绝对干货:Spark核心技术系列学习课程和实践指导

AllenOR灵感
 AllenOR灵感
发布于 2017/09/10 01:14
字数 1475
阅读 3
收藏 0

云栖社区围绕大数据技术——Spark整理了一份详尽的学习、实践课程,整个课程分为三大部分:

一、基础打磨:《Scala入门到精通》《Linux&Akka基础》的系列学习课程;

二、深入理解:本部分主要包含《源码走读》、《组件解析》两部分内容;

三、应用实践:从语言的场景实践到技术应用提供了全方的实战演练案例,读者可以根据内容手把手地进行;

还有最后一部分是介绍基于阿里云E-MapReduce(点击了解产品详情)的实践应用讲解,此部分小编特意为想深入学习的上云“新”同学们准备了一份厚礼:10个阿里云免费套餐邀请码(想必很多同学知道他的价值,如果还有不了解的可以点击此处查看)用于实践学习使用。

获得方式:各位同学可以直接在评论中回复:我要阿里云免费套餐邀请码,为公平起见采用评论点赞排名前十位的小伙伴可得。

课程介绍如下,提供给各位同学提前预览各取所需,课程学习页面请点击此处进入

一、基础打磨篇:

1.1 《Scala入门到精通》

· 第一节:Scala语言初步

· 第二节:Scala基本类型及操作、程序控制结构

· 第三节:Array、List

· 第四节:Set、Map、Tuple、队列操作实战

· 第五节:函数与闭包

· 第六节:类和对象(一)

· 第七节:类和对象(二)

· 第八节:包和引入

· 第九节:继承与组合

· 第十节:Scala类层次结构、Traits初步

· 第十一节:Trait进阶

· 第十二节:I/O与正则表达式

· 第十三节:高阶函数

· 第十四节:Case Class与模式匹配(一)

· 第十五节:Case Class与模式匹配(二)

· 第十六节:泛型与注解

· 第十七节:类型参数(一)

· 第十八节:隐式转换与隐式参数(一)

· 第十九节:隐式转换与隐式参数(二)

· 第二十节:类型参数(二)

· 第二十一节:类型参数(三)

· 第二十二节:高级类型 (一)

· 第二十三节:高级类型 (二)

· 第二十四节:高级类型 (三)

· 第二十五节:提取器(Extractor)

· 第二十六节:Scala并发编程基础

· 第二十七节:Scala操纵XML

· 第二十八节:Scala与JAVA互操作

· 第二十九节:Scala数据库编程

· 第三十节:Scala脚本编程与结束语

1.2 《Linux & Akka基础》

· 第一节:Linux介绍、安装及使用初步

· 第二节:Linux文件系统、目录(一)

· 第三节:用户和组 · 第四节:Linux文件系统(二)

· 第五节:vi、vim编辑器(一)

· 第六节:vi、vim编辑器(二)

· 第七节:进程管理

· 第八节:网络管理

· 第九节:Shell编程入门(一)

· 第十节:Shell编程入门(二)

· 第十一节:Shell编程入门(三)

· 第十二节:Shell编程入门(四)

· 第十三节:Shell编程入门(五)

· 第十四节:Shell编程入门(六)

· 第十五节:基础正则表达式(一)

· Akka并发编程(一):并发编程简介

· Akka并发编程(二)::Actor模型(一)

· Akka并发编程(三):Actor模型(二)

· Akka并发编程(四):Actor模型(三)

· Akka并发编程(五):Actor模型(四)

· Akka并发编程(六):Actor模型(五)

· Akka并发编程(七):Actor模型(六)

· Akka并发编程(八):Actor模型(七)

二、深入理解篇

2.1 《源码走读》

· 第一节:Spark应用程序提交流程

· 第二节:SparkContext的创建

· 第三节:Spark Job的提交

· 第四节:Stage划分

· 第五节:Stage提交

· 第六节:Task提交

· 第七节:ResourceOffers与LaunchTasks解析

· 第八节:Task执行

· 第九节:Task执行成功时的结果处理

· 第十节:Standalone运行模式解析

· 第十一节:Spark SQL 处理流程分析

· 第十二节:Spark SQL之SQLContext(一)

2.2 《组件解析》

· 第一节:Spark 1.5.0集群搭建

· 第二节:Hadoop、Spark生成圈简介

· 第三节:Spark Intellij IDEA开发环境搭建

· 第四节:Spark编程模型(一)

· 第五节:Spark编程模型(二)

· 第六节:Spark编程模型(三)

· 第七节:Spark运行原理

· 第八节:Spark SQL与DataFrame(一)

· 第九节:Spark SQL运行流程解析

· 第十节:Spark SQL案例实战(一)

· 第十一节:Spark Streaming(一)

· 第十二节:Spark Streaming(二)

· 第十三节:Spark Streaming(三)

· 第十四节:Spark Streaming(四)

· 第十五节:Kafka 0.8.2.1 集群搭建

· 第十六节:Spark Streaming与Kafka

三、应用实践篇

3.1 《场景实践》

· 和封神一起“深挖”Spark

· 商品搜索引擎---推荐系统设计

· 阿里Spark实践与探索

· 如何做Spark 版本兼容

· 用线性回归无编码实现文章浏览数预测

· Spark Streaming+Spark SQL实现可配置ETL

· 2016中国spark技术峰会见闻摘要

· Spark Streaming 流式计算实战

· 利用 Spark DataSource API 实现Rest数据源

· 协同过滤算法多语言实现 · Spark 数据倾斜的一些表现

· Spark性能优化 · Spark性能优化——和shuffle搏斗

· Kafka+Spark Streaming+Redis实时计算实践

· 数据处理平台架构中的SMACK组合

3.2 《技术应用》

· SparkSQL实战(一):DataFrames基础

· SparkSQL实战(二):DataFrames进阶

· SparkSQL实战(三):SparkSQL应用案例

· ML On Spark(一):基础数据结构

· ML On Spark(二):基础数据结构

· ML On Spark(三):统计基础

· ML On Spark(四):统计基础

更多:E-MapReduce实践应用场景介绍

· 泰为基于EMR的考量与实践

· 基于E-MapReduce梨视频推荐系统

· Databricks、Intel、阿里、梨视频的实践

· E-MapReduce集群搭建HAWQ实践

· E-MapReduce支持计算与存储分离,成本降1倍

· 阿里云MongoDB与EMR的HelloWorld

· E-MapReduce(Hadoop)10大类问题集群规划

· 云上Hadoop之优势

点击此处查看课程详细内容

本文转载自:http://www.jianshu.com/p/28c662d151bf

AllenOR灵感
粉丝 11
博文 2635
码字总数 83001
作品 0
程序员
私信 提问
18小时内掌握Spark,全面提升Spark技能!

伴随着大数据相关技术和产业的逐步成熟,继Hadoop之后,Spark技术以其无可比拟的优势,发展迅速,将成为替代Hadoop的下一代云计算、大数据核心技术。   Spark是基于内存,是云计算领域的继...

Spark亚太研究院
2014/06/12
79
0
Spark GraphX宝刀出鞘,图文并茂研习图计算秘笈与熟练的掌握Scala语言【大数据Spark

Spark GraphX宝刀出鞘,图文并茂研习图计算秘笈 大数据的概念与应用,正随着智能手机、平板电脑的快速流行而日渐普及,大数据中图的并行化处理一直是一个非常热门的话题。图计算正在被广泛地...

Spark亚太研究院
2014/08/29
1K
0
【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型第1节②

三、你为什么需要Spark; 你需要Spark的十大理由: 1,Spark是可以革命Hadoop的目前唯一替代者,能够做Hadoop做的一切事情,同时速度比Hadoop快了100倍以上: Logistic regression in Hadoo...

Spark亚太研究院
2014/12/16
423
2
开发者最佳开发者实践日·第9期-分布式计算实践分享

随着智能手机等移动互联网的兴起,所有开发者所面对的处理的数据量都是前所未有的,面对如果庞大的数据,分布式文件系统与存储相关的开发工具逐渐成为了工程界关注的焦点。 本次七牛开发者最...

七牛云
2015/01/05
0
0
开发者最佳开发者实践日·第9期-分布式计算实践分享

随着智能手机等移动互联网的兴起,所有开发者所面对的处理的数据量都是前所未有的,面对如果庞大的数据,分布式文件系统与存储相关的开发工具逐渐成为了工程界关注的焦点。 本次七牛开发者最...

七牛云
2015/01/05
606
0

没有更多内容

加载失败,请刷新页面

加载更多

rime设置为默认简体

转载 https://github.com/ModerRAS/ModerRAS.github.io/blob/master/_posts/2018-11-07-rime%E8%AE%BE%E7%BD%AE%E4%B8%BA%E9%BB%98%E8%AE%A4%E7%AE%80%E4%BD%93.md 写在开始 我的Arch Linux上......

zhenruyan
今天
5
0
简述TCP的流量控制与拥塞控制

1. TCP流量控制 流量控制就是让发送方的发送速率不要太快,要让接收方来的及接收。 原理是通过确认报文中窗口字段来控制发送方的发送速率,发送方的发送窗口大小不能超过接收方给出窗口大小。...

鏡花水月
今天
10
0
OSChina 周日乱弹 —— 别问,问就是没空

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @tom_tdhzz :#今日歌曲推荐# 分享容祖儿/彭羚的单曲《心淡》: 《心淡》- 容祖儿/彭羚 手机党少年们想听歌,请使劲儿戳(这里) @wqp0010 :周...

小小编辑
今天
1K
11
golang微服务框架go-micro 入门笔记2.1 micro工具之micro api

micro api micro 功能非常强大,本文将详细阐述micro api 命令行的功能 重要的事情说3次 本文全部代码https://idea.techidea8.com/open/idea.shtml?id=6 本文全部代码https://idea.techidea8....

非正式解决方案
今天
5
0
Spring Context 你真的懂了吗

今天介绍一下大家常见的一个单词 context 应该怎么去理解,正确的理解它有助于我们学习 spring 以及计算机系统中的其他知识。 1. context 是什么 我们经常在编程中见到 context 这个单词,当...

Java知其所以然
昨天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部