Spark(Deploy-Standalone)

原创
2017/06/17 10:40
阅读数 49

资源管理

当前cpu数量是Spark管理的主要资源之一(还有memory)
每个提交的application都会标明自己所需要的资源数(也就是cpu的core数),
Master以FIFO的方式管理所有的application请求,当资源数量满足当前任务执行需求的时候该任务就会被调度,否则就继续等待
如果master能给予当前任务部分资源则也会启动该application

3大组件
master, worker, client

均继承于Actor,通过actor实现互相之间的通信
  Master:master的主要功能是接收worker的注册并管理所有的worker,接收client提交的application,(FIFO)调度等待的application并向worker提交
  Worker:worker的主要功能是向master注册自己,根据master发送的application配置进程环境,并启动executor
  Client:client的主要功能是向master注册并监控application

消息通信

  client to master
  master to client
  master to worker
  worker to master

生命周期

  Application提交
  client是被嵌入在每一个application中,只为这个applicator服务.client向master注册

  Application运行(scheduler)

  Application结束
  application的结束往往会造成client的结束,而client的结束会被master通过Actor检测到,
master清理master上和worker上关于该application的所有信息

 

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部