加载中
大数据Spark蘑菇云前传第1课:大数据时代的“黄金”语言Scala(学习笔记)

本課課程: JVM 企業霸主地位與今日 Java 式微 “黄金”语言Scala Scala 在大數據中的“黄金”地位 JVM,是一個代理模式:裡面有代理端和宮戶端的模式。Hadoop 裡的 Name Node 和 Data Node ...

2016/08/08 18:25
198
版本課堂筆記:第11课

ReceiverTacker 的架構設計 ReceiverTacker 接受數據後怎麼處理數據! ReceiverTacker 啟動 Receiver 的方式就是封裝成一個又一個的 Job,有多少個 Job 其實它就會啟動多少 Receiver,多少 ...

2016/05/22 13:23
19
第6课:Spark Streaming源码解读之Job动态生成和深度思考

本課內容是 Job 生成的深度思考 Job 生成源碼解析 Job 生成的深度思考 一切不是流處理的數據或者是跟流處理沒有關係的數據,最終都會變成沒有價值的數據。 意義上的流處理其實就是批處理加上...

2016/05/14 12:43
186
第2课:通过案例对SparkStreaming 透彻理解三板斧之二:解密SparkStreaming

从昨天第一课的黑名单过滤的案例中,我們可以看見其實一個Spark Streaming 程序,里面會自動生成很多不同的作業,可以用以下的圖,去理解什麼是DStream,它跟RDD 之間有什麼不同。 簡單說 DS...

2016/05/10 00:00
219
第4课:Spark Streaming的Exactly-One的事务处理和不重复输出彻底掌握

今天早上的课 主要是讲解在 Spark Streaming 中怎么进行 事务处理 Exactly Once 的事務處理 1) 數據零掉失,必需有可靠的數據來源和可靠的 Receiver, 且整個應用程序的 metadata 必需進行 ch...

2016/05/09 22:37
95
Ls 1 - Understanding the nature of Spark Streaming

Analysis the process flow based on a Spark Streaming Application

2016/05/09 22:18
1.7K
第5课:基于案例一节课贯通Spark Streaming流计算框架的运行源码

今天早上的课是源码级别的,基于这4天的概念基础上,看看源码里是怎么运行 我們寫程序的時候會有這兩句標準語句 val conf = new SparkConf().setMaster("spark://HadoopM:7077").setAppName(...

2016/05/09 21:58
51
第3课:通过案例对SparkStreaming 透彻理解三板斧之三:解密SparkStreaming

第一部份 课堂的第一部份是用IMF 晚上案例实战课的程序再运行一次,把数据再次输入数据库里面,从图一你可以看出里面有很多运行细节,例如receiver.ReceiverSupervisor,receiver.BlockManag...

2016/05/09 21:31
71

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部