文档章节

Master-Worker模式--并发编程

小车车
 小车车
发布于 2017/05/16 11:35
字数 1271
阅读 23
收藏 0
  • 简介

  Master-Worker模式是常用的并行设计模式。它的核心思想是,系统有两个进程协议工作:Master进程和Worker进程。Master进程负责接收和分配任务,Worker进程负责处理子任务。当各个Worker进程将子任务处理完后,将结果返回给Master进程,由Master进行归纳和汇总,从而得到系统结果。处理过程如下图:

Master-Worker模式的好处是,它能将大任务分解成若干个小任务,并发执行,从而提高系统性能。而对于系统请求者Client来说,任务一旦提交,Master进程就会立刻分配任务并立即返回,并不会等系统处理完全部任务再返回,其处理过程是异步的。

  • Master-Worker模式结构

  Master-Worker模式的主要结构如下图:

 

  如上图所示,Master进程是主要进程,它维护着一个Worker进程队列、子任务队列和子结果集,Worker进程中的Worker进程不断的从任务队列中提取要处理的子任务,并将子任务的处理结果放入到子结果集中。

  在上图中,Master:用于任务的分配和最终结果的合并;Worker:用于实际处理一个任务;客户端进程:用于启动系统,调度开启Master。

  • Master-Worker模式代码实现

  Master代码实现:

复制代码

复制代码

1 public class Master {
 2     //任务队列
 3     protected Queue<Object> workQueue = new ConcurrentLinkedQueue<Object>();
 4     //worker进程队列
 5     protected Map<String, Thread> threadMap = new HashMap<String, Thread>();
 6     //结果集
 7     protected Map<String, Object> resultMap = new HashMap<String,Object>();
 8     
 9     //是否所有的子任务都结束
10     
11     public boolean isComplete(){
12         for(Map.Entry<String, Thread> entry:threadMap.entrySet()){
13             if(entry.getValue().getState()!=Thread.State.TERMINATED){
14                 return false;
15             }
16         }
17         return true;
18     }
19 
20     public Master(Worker worker,int countWorker) {
21         worker.setResultMap(resultMap);
22         worker.setWorkQueue(workQueue);
23         for (int i = 0; i < countWorker; i++) {
24             threadMap.put(Integer.toString(i), new Thread(worker,Integer.toString(i)));
25         }
26     }
27     
28     //提交任务
29     
30     public void submit(Object obj){
31         workQueue.add(obj);
32         //System.out.println(obj.toString());
33     }
34 
35     
36     
37     //返回子任务结果集
38     public Map<String, Object> getResultMap() {
39         return resultMap;
40     }
41     
42     //开始运行所有worker进程,并进行处理
43     
44     public void execute(){
45         for(Map.Entry<String, Thread> entry:threadMap.entrySet()){
46             entry.getValue().start();
47         }
48     }
49     
50 }

复制代码

复制代码

  Worker代码实现:

复制代码

复制代码

1 public class Worker implements Runnable {
 2     //任务队列
 3     protected Queue<Object> workQueue;
 4     //子任务结果集
 5     protected Map<String,Object> resultMap = new HashMap<String, Object>();
 6     
 7     
 8     public void setWorkQueue(Queue<Object> workQueue) {
 9         this.workQueue = workQueue;
10     }
11     public void setResultMap(Map<String, Object> resultMap) {
12         this.resultMap = resultMap;
13     }
14 
15     public Object handle(Object input){
16         return input;
17     }
18     @Override
19     public void run() {
20         while(true){
21             Object input = workQueue.poll();
22             
23             if(null==input) break;
24             //处理子任务
25             Object re = handle(input);
26             resultMap.put(Integer.toString(input.hashCode()),re);
27             //System.out.println(re.toString());
28         }
29     }
30 
31 }

复制代码

复制代码

  Master-Worker模式是一种串行任务并行化的方法,被分解的子任务在系统中可以并行处理。同时,如果有需要,Master进程不需要所有子任务都执行完成,就可以根据已有的部分结果集计算最终的结果。

  现在以上面的Master-Worker实现为基础,来实现计算1-100的立方和。计算将被分解为100个子任务,每个子任务仅用于计算单独的立方和。Master产生固定数目Worker,来处理这些子任务。Worker不断的从任务集合中取出这些计算立方和的子任务,并将计算结果放入到Master的结果集中。Master负责将所有Worker的任务结果进行累加,从而产生最终的立方和。整个计算过程,Worker和Master的运算也是完全异步的,Master进程不必等所有的Worker进程都执行完成,就可以进行求和操作了。也就是所,Master在获取部分子任务的结果集时,就可以对最终结果进行计算了,从而提高了系统的并发性和吞吐量。

  计算子任务的实现如下:

复制代码

复制代码

1 public class PlusWorker extends Worker {
2 
3     @Override
4     public Object handle(Object input) {
5         Integer i = (Integer) input;
6         return i*i*i;
7     }
8     
9 }

复制代码

复制代码

  客户端代码如下:

复制代码

复制代码

1 public class Client {
 2     public static void main(String[] args) {
 3         Master m = new Master(new PlusWorker(), 5);//启动五个线程处理
 4         for (int i = 0; i < 100; i++) {
 5             m.submit(i);
 6         }
 7         m.execute();
 8         int re = 0;
 9         Map<String, Object> resultMap = m.getResultMap();
10         while(resultMap.size()>0||!m.isComplete()){
11             Set<String> keys = resultMap.keySet();
12             String key =  null;
13             for(String k:keys){
14                 key=k;
15                 break;
16             }
17             Integer i = null;
18             if(key != null){
19                 i = (Integer) resultMap.get(key);
20             }
21             if(i!=null){
22                 re+=i;//并行计算结果集
23             }
24             
25             if(key!=null){
26                 resultMap.remove(key);//将计算完成的结果移除
27             }
28         }
29         
30         System.out.println(re);
31     }
32 }

复制代码

复制代码

  通过Master创建5个Worker工作线程和PlusWorker工作实例。提交完100个任务后,就开始计算子任务。这些子任务,由生成的5个Worker线程共同完成。Master并不等所有的子任务都计算完成,就开始访问子结果集进行最终结果的计算,直到子结果集中所有的数据都被处理,并且5个活跃的Worker线程全部终止,才能求出最终结果。

本文转载自:

小车车
粉丝 5
博文 95
码字总数 104288
作品 0
深圳
程序员
私信 提问
并发编程-Master-Worker模式

1.Master-Worker模式是常用的并行模式之一。它的核心思想是,系统由两类进程协作,Master进程和Worker进程。Master进程负责接收和分配任务,Worker进程负责处理子任务。当各个Worker进程将子...

cosco
2016/05/03
137
0
Tensorflow 分布式原理理解

1. Tensorflow 实现原理 实现原理 TensorFlow有一个重要组件client,顾名思义,就是客户端,它通过Session的接口与master及多个worker相连。其中每一个worker可以与多个硬件设备(device)相...

cying
2018/07/31
0
0
我的网络开发之旅——socket编程

上一篇文章《TCP/IP协议分析》讲述了自己是如何和网络领域的开发扯上关系的。正如从招聘网站上抽出的几个关键词“TCP/IP, Socket, 多线程”可见,协议分析并不是网络开发的主流,通常我们所说...

yaocoder
2014/09/21
0
0
Ruby的多线程应用服务器介绍

随着Rails4.0的发布,Ruby的Web开发社区开始进入多线程的时代了: 从Ruby1.9开始,多线程已经是native thread了,尽管有GIL全局锁的存在,但是对于IO并发来说,已经可以实现并行处理了。 Ra...

mingle
2013/08/05
0
0
spark-submit 参数设置说明

更新时间:2017-06-07 13:26:11 本章节将介绍如何在 E-MapReduce 场景下设置 spark-submit 的参数。 集群配置 软件配置 E-MapReduce 产品版本 1.1.0 Hadoop 2.6.0 Spark 1.6.0 硬件配置 Mast...

hblt-j
2017/10/18
0
0

没有更多内容

加载失败,请刷新页面

加载更多

CLEARTEXT communication to xxx not permitted by network security policy

Android P http网络请求不通,报出异常:java.net.UnknownServiceException: CLEARTEXT communication to xxxx not permitted by network security policy Google表示,为保证用户数据和设备......

醉雨
8分钟前
0
0
开发函数计算的正确姿势 —— 移植 next.js 服务端渲染框架

首先介绍下在本文出现的几个比较重要的概念: 函数计算(Function Compute): 函数计算是一个事件驱动的服务,通过函数计算,用户无需管理服务器等运行情况,只需编写代码并上传。函数计算准...

阿里云云栖社区
53分钟前
1
0
Windows获取其他进程中Edit控件的内容

最近做的MFC项目中,有个获取其他进程中Edit控件内容的需求,本来以为是个很简单的问题,但是来来回回折腾了不少时间,发博记录一下。   刚开始拿到这个问题,很自然的就想到GetDlgItemTex...

WinkJie
58分钟前
1
0
Mysql数据库基于流量审计mysql-sniffer部署

Base Enviroment:CentOS release 6.5 +10.1.40-MariaDB MariaDB Server 安装完后,经过Navicat客户端工具,java web项目,linux操作系统myql客户端,三个维度(客户端)的实测。 实测结果是:...

硅谷课堂
今天
1
0
Visual Paradigm 教程[UML]:如何在SoaML中建模多方服务?(下)

下载Visual Paradigm最新试用版 第三部分 - 用UML序列图指定多方编排 在多服务合同中,可以在交互图中显示各方之间的通信和编排。像UML序列图这样的交互图显示了谁调用谁以及何时进行调用。让...

xiaochuachua
今天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部