版本課堂筆記:第11课

原创
2016/05/22 13:23
阅读数 16

ReceiverTacker 的架構設計

 

ReceiverTacker 接受數據後怎麼處理數據!

 

  1. ReceiverTacker 啟動 Receiver 的方式就是封裝成一個又一個的 Job,有多少個 Job 其實它就會啟動多少 Receiver,多少 Receiver 實際上就會分配多少個 Job, 每個 Job 里面就有一個 Task, 而 Task 就是一條數據,里的數據就是 Receiver 的數據。
  2. ReceiverTacker 在啟動 Receiver 的時候,它有一個 ReceiverSupervisor 當我們看見 ReceiverSupervisorImpl 作為它的自己的實現,ReceiverSupervisor 自己啟動的時候它會轉過來啟動Receiver,然後Receiver 會不斷的接受數據,然後轉過來通過 BlockGenerator 把自己接受的數據變成一個一個的 Block,背後自己有定時器,這個定時器會不斷的把數據存儲,但存儲有兩種方式:
    1. 通過BlockManager 存儲
    2. 先寫日誌就是 WAL 的方式
  3. 存儲過之後就是 ReceiverSupervisorImpl 會把存儲的數據的元數據匯報給 ReceiverTacker ,實際上是匯報 ReceiverTacker 中的 RPC 通信消息實體,ReceiverTacker 通過 RPC接受到數據之後就轉過來進行下一步的消息管理工作了。
展开阅读全文
加载中

作者的其它热门文章

打赏
2
0 收藏
分享
打赏
0 评论
0 收藏
2
分享
返回顶部
顶部