本課課程： JVM 企業霸主地位與今日 Java 式微 “黄金”语言Scala Scala 在大數據中的“黄金”地位 JVM，是一個代理模式：裡面有代理端和宮戶端的模式。Hadoop 裡的 Name Node 和 Data Node ...

ReceiverTacker 的架構設計 ReceiverTacker 接受數據後怎麼處理數據！ ReceiverTacker 啟動 Receiver 的方式就是封裝成一個又一個的 Job，有多少個 Job 其實它就會啟動多少 Receiver，多少 ...

本課內容是 Job 生成的深度思考 Job 生成源碼解析 Job 生成的深度思考 一切不是流處理的數據或者是跟流處理沒有關係的數據，最終都會變成沒有價值的數據。 意義上的流處理其實就是批處理加上...

从昨天第一课的黑名单过滤的案例中，我們可以看見其實一個Spark Streaming 程序，里面會自動生成很多不同的作業，可以用以下的圖，去理解什麼是DStream，它跟RDD 之間有什麼不同。 簡單說 DS...

今天早上的课 主要是讲解在 Spark Streaming 中怎么进行 事务处理 Exactly Once 的事務處理 1) 數據零掉失，必需有可靠的數據來源和可靠的 Receiver, 且整個應用程序的 metadata 必需進行 ch...

Analysis the process flow based on a Spark Streaming Application

今天早上的课是源码级别的，基于这4天的概念基础上，看看源码里是怎么运行 我們寫程序的時候會有這兩句標準語句 val conf = new SparkConf().setMaster("spark://HadoopM:7077").setAppName(...

第一部份 课堂的第一部份是用IMF 晚上案例实战课的程序再运行一次，把数据再次输入数据库里面，从图一你可以看出里面有很多运行细节，例如receiver.ReceiverSupervisor，receiver.BlockManag...