java.util.concurrent.AbstractExecutorService

原创
2014/06/20 14:02
阅读数 275

之前的几篇文章,是不是觉得太简单了。好了,难度要加深了。这次,我们来读一下ExecutorService(点击查看源代码)的抽象类实现-AbstractExecutorService. 反证一下当初的设计,有没有体现。

上源代码:

package java.util.concurrent;
import java.util.*;

public abstract class AbstractExecutorService implements ExecutorService {

    protected <T> RunnableFuture<T> newTaskFor(Runnable runnable, T value) {
        return new FutureTask<T>(runnable, value);
    }

    protected <T> RunnableFuture<T> newTaskFor(Callable<T> callable) {
        return new FutureTask<T>(callable);
    }

    public Future<?> submit(Runnable task) {
        if (task == null) throw new NullPointerException();
        RunnableFuture<Object> ftask = newTaskFor(task, null);
        execute(ftask);
        return ftask;
    }

    public <T> Future<T> submit(Runnable task, T result) {
        if (task == null) throw new NullPointerException();
        RunnableFuture<T> ftask = newTaskFor(task, result);
        execute(ftask);
        return ftask;
    }

    public <T> Future<T> submit(Callable<T> task) {
        if (task == null) throw new NullPointerException();
        RunnableFuture<T> ftask = newTaskFor(task);
        execute(ftask);
        return ftask;
    }

    private <T> T doInvokeAny(Collection<? extends Callable<T>> tasks,
                            boolean timed, long nanos)
        throws InterruptedException, ExecutionException, TimeoutException {
        if (tasks == null)
            throw new NullPointerException();
        int ntasks = tasks.size();
        if (ntasks == 0)
            throw new IllegalArgumentException();
        List<Future<T>> futures= new ArrayList<Future<T>>(ntasks);
        ExecutorCompletionService<T> ecs =
            new ExecutorCompletionService<T>(this);

        try {
            ExecutionException ee = null;
            long lastTime = (timed)? System.nanoTime() : 0;
            Iterator<? extends Callable<T>> it = tasks.iterator();

            futures.add(ecs.submit(it.next()));
            --ntasks;
            int active = 1;

            for (;;) {
                Future<T> f = ecs.poll();
                if (f == null) {
                    if (ntasks > 0) {
                        --ntasks;
                        futures.add(ecs.submit(it.next()));
                        ++active;
                    }
                    else if (active == 0)
                        break;
                    else if (timed) {
                        f = ecs.poll(nanos, TimeUnit.NANOSECONDS);
                        if (f == null)
                            throw new TimeoutException();
                        long now = System.nanoTime();
                        nanos -= now - lastTime;
                        lastTime = now;
                    }
                    else
                        f = ecs.take();
                }
                if (f != null) {
                    --active;
                    try {
                        return f.get();
                    } catch (InterruptedException ie) {
                        throw ie;
                    } catch (ExecutionException eex) {
                        ee = eex;
                    } catch (RuntimeException rex) {
                        ee = new ExecutionException(rex);
                    }
                }
            }

            if (ee == null)
                ee = new ExecutionException();
            throw ee;

        } finally {
            for (Future<T> f : futures)
                f.cancel(true);
        }
    }

    public <T> T invokeAny(Collection<? extends Callable<T>> tasks)
        throws InterruptedException, ExecutionException {
        try {
            return doInvokeAny(tasks, false, 0);
        } catch (TimeoutException cannotHappen) {
            assert false;
            return null;
        }
    }

    public <T> T invokeAny(Collection<? extends Callable<T>> tasks,
                           long timeout, TimeUnit unit)
        throws InterruptedException, ExecutionException, TimeoutException {
        return doInvokeAny(tasks, true, unit.toNanos(timeout));
    }

    public <T> List<Future<T>> invokeAll(Collection<? extends Callable<T>> tasks)
        throws InterruptedException {
        if (tasks == null)
            throw new NullPointerException();
        List<Future<T>> futures = new ArrayList<Future<T>>(tasks.size());
        boolean done = false;
        try {
            for (Callable<T> t : tasks) {
                RunnableFuture<T> f = newTaskFor(t);
                futures.add(f);
                execute(f);
            }
            for (Future<T> f : futures) {
                if (!f.isDone()) {
                    try {
                        f.get();
                    } catch (CancellationException ignore) {
                    } catch (ExecutionException ignore) {
                    }
                }
            }
            done = true;
            return futures;
        } finally {
            if (!done)
                for (Future<T> f : futures)
                    f.cancel(true);
        }
    }

    public <T> List<Future<T>> invokeAll(Collection<? extends Callable<T>> tasks,
                                         long timeout, TimeUnit unit)
        throws InterruptedException {
        if (tasks == null || unit == null)
            throw new NullPointerException();
        long nanos = unit.toNanos(timeout);
        List<Future<T>> futures = new ArrayList<Future<T>>(tasks.size());
        boolean done = false;
        try {
            for (Callable<T> t : tasks)
                futures.add(newTaskFor(t));

            long lastTime = System.nanoTime();
            
            Iterator<Future<T>> it = futures.iterator();
            while (it.hasNext()) {
                execute((Runnable)(it.next()));
                long now = System.nanoTime();
                nanos -= now - lastTime;
                lastTime = now;
                if (nanos <= 0)
                    return futures;
            }

            for (Future<T> f : futures) {
                if (!f.isDone()) {
                    if (nanos <= 0)
                        return futures;
                    try {
                        f.get(nanos, TimeUnit.NANOSECONDS);
                    } catch (CancellationException ignore) {
                    } catch (ExecutionException ignore) {
                    } catch (TimeoutException toe) {
                        return futures;
                    }
                    long now = System.nanoTime();
                    nanos -= now - lastTime;
                    lastTime = now;
                }
            }
            done = true;
            return futures;
        } finally {
            if (!done)
                for (Future<T> f : futures)
                    f.cancel(true);
        }
    }

}

AbstractExecutorService 是 ExecutorService的抽象实现。还记得ExecutorService点击查看源代码)有哪些方法吗? AbstractExecutorService 实现了其中的部分方法包括sumit, invokeAny和 invokeAll。这三个都是执行的方法,那么具体来看一下,Doug Lea是如何实现的。


protected <T> RunnableFuture<T> newTaskFor(Runnable runnable, T value)

    protected <T> RunnableFuture<T> newTaskFor(Runnable runnable, T value) {
        return new FutureTask<T>(runnable, value);
    }

参数:Runnable 具体执行的任务, T 返回的类型。

返回:RunnableFuture(点击查看源码) 执行任务的返回,是Future和Runnable的继承。

实现:封装一个FutureTask(下回阅读) 并返回。

解读:这就是一个封装并返回的过程。Future是可以被取消的,那么FutureTask也是可以的。


protected <T> RunnableFuture<T> newTaskFor(Callable<T> callable)

    protected <T> RunnableFuture<T> newTaskFor(Callable<T> callable) {
        return new FutureTask<T>(callable);
    }

参数:Callable(点击查看源码), callable其实就是一个待返回的Runnable。

返回:RunnableFuture(点击查看源码) 执行任务的返回,是Future和Runnable的继承。

实现:封装一个FutureTask(下回阅读) 并返回。

解读:这就是一个封装并返回的过程。Future是可以被取消的,那么FutureTask也是可以的。


public Future<?> submit(Runnable task) 

public Future<?> submit(Runnable task) {
        if (task == null) throw new NullPointerException();
        RunnableFuture<Object> ftask = newTaskFor(task, null);
        execute(ftask);
        return ftask;
    }

参数:Runnable, 一个可执行的任务

返回:Future(点击查看源码)一个执行的将来结果

异常:NullPointException, 出镜率最高,最具人气的高大上Exception

实现:

  • 首先判断非空否则抛出空指针异常。

  • 调用newTaskFor并将RunnableFuture传给Execute(点击查看源码)方式执行。

  • 返回之前由newTaskFor生成的RunnableFuture ftask。

解读:submit方法的具体执行还是依赖Execute方法,本身是不做执行的。在Executor接口的源码解读中,给出了几种执行的策略。可见之前的判断,Executor的功能职责和ExecutorService的职责区分。


其他的Submit方法

同上。


private <T> T doInvokeAny(Collection<? extends Callable<T>> tasks, boolean timed, long nanos) throws InterruptedException, ExecutionException, TimeoutException

private <T> T doInvokeAny(Collection<? extends Callable<T>> tasks,
                            boolean timed, long nanos)
        throws InterruptedException, ExecutionException, TimeoutException {
        if (tasks == null)
            throw new NullPointerException();
        int ntasks = tasks.size();
        if (ntasks == 0)
            throw new IllegalArgumentException();
        List<Future<T>> futures= new ArrayList<Future<T>>(ntasks);
        ExecutorCompletionService<T> ecs =
            new ExecutorCompletionService<T>(this);

        try {
            ExecutionException ee = null;
            long lastTime = (timed)? System.nanoTime() : 0;
            Iterator<? extends Callable<T>> it = tasks.iterator();

            futures.add(ecs.submit(it.next()));
            --ntasks;
            int active = 1;

            for (;;) {
                Future<T> f = ecs.poll();
                if (f == null) {
                    if (ntasks > 0) {
                        --ntasks;
                        futures.add(ecs.submit(it.next()));
                        ++active;
                    }
                    else if (active == 0)
                        break;
                    else if (timed) {
                        f = ecs.poll(nanos, TimeUnit.NANOSECONDS);
                        if (f == null)
                            throw new TimeoutException();
                        long now = System.nanoTime();
                        nanos -= now - lastTime;
                        lastTime = now;
                    }
                    else
                        f = ecs.take();
                }
                if (f != null) {
                    --active;
                    try {
                        return f.get();
                    } catch (InterruptedException ie) {
                        throw ie;
                    } catch (ExecutionException eex) {
                        ee = eex;
                    } catch (RuntimeException rex) {
                        ee = new ExecutionException(rex);
                    }
                }
            }

            if (ee == null)
                ee = new ExecutionException();
            throw ee;

        } finally {
            for (Future<T> f : futures)
                f.cancel(true);
        }
    }

参数:

  • tasks, 是一个Callable的集合

  • timed, 是否需要计时

  • nanos, 超时时间,单位是毫微秒(时间单位,十亿分之一(10⁻9)秒) 

返回:T, Callable中定义的返回类型

异常:

  • InterruptedException, 线程中断异常

  • ExecutionException,线程执行异常

  • TimeoutException, 超时异常

  • IllegalArgumentException,当传入的集合为空时

实现:

  1. 做一些非空和参数合法性的判断

  2. 初始化一个future的集合和ExecutorCompletionService (点击查看源码),并提交第一个task到ExecutorCompletionService 

  3. 用一个空的for循环来不停的遍历是否有成功的任务,跳出的方式有三种,正常返回,超时,执行异常

  4. 最后cancel所有的任务

解读:

  • ExecutorCompletionService 的 poll与take方法的区别, poll方法或获取一个已经完成的任务,如果没有则返回null. take方法或获取一个已经完成的任务,如果没有则一直等待到有为止。

  • 明明有一个future已经完成并返回了,为什么在finally里面还要cancel掉它? 回头看一下future的cancel方法定义,如果已经完成,那么cancel会失败,但这样执行是安全的。

  • 这个方法的实现,其实还是有瑕疵的,如果去看ExecutorCompletionService的实现,你会发现执行时其实引用了AbstractExecutorService执行框架,存在循环依赖的问题。

问题:

  • 如果task无法响应Interrupt,那么线程将无法被回收,将会导致内存问题。所以无论是runnable还是callable,都必须要响应interrupt。否则非常容易导致内存泄露。

  • 如果你想自己实现一个Future接口,并放到这个方法执行,那么注意了

    1. f.get()方法要以阻塞的方式并最终返回结果

    2. f.cancel(true), 必须要保证能结束掉线程,否则极易OOM(Out of Memory)


另外两个invokeAny方法

解读:

  • 基本调用了上一个方法

  • assert false; 是什么意思? 如果在JDK运行参数里打开了assert功能,这里将抛出另外一个异常,详解见百度


public <T> List<Future<T>> invokeAll(Collection<? extends Callable<T>> tasks) throws InterruptedException

public <T> List<Future<T>> invokeAll(Collection<? extends Callable<T>> tasks)
        throws InterruptedException {
        if (tasks == null)
            throw new NullPointerException();
        List<Future<T>> futures = new ArrayList<Future<T>>(tasks.size());
        boolean done = false;
        try {
            for (Callable<T> t : tasks) {
                RunnableFuture<T> f = newTaskFor(t);
                futures.add(f);
                execute(f);
            }
            for (Future<T> f : futures) {
                if (!f.isDone()) {
                    try {
                        f.get();
                    } catch (CancellationException ignore) {
                    } catch (ExecutionException ignore) {
                    }
                }
            }
            done = true;
            return futures;
        } finally {
            if (!done)
                for (Future<T> f : futures)
                    f.cancel(true);
        }
    }

参数:Callable的集合

返回:所有任务的集合,会以阻塞的方式等到所有任务完成才返回。

异常:NullPointException, InterruptedException

实现:

  1. 非空和参数合法性校验

  2. 第一次遍历,提交所有任务到Execute方法。

  3. 遍历所有任务,依次等待每个人执行完成,才跳出遍历

  4. 如果两次遍历中出现异常,那么以中断的形式取消所有任务

解读:

  • 为什么InvokeAny会用到ExecutorCompletionService 去执行,而这里只用最直接的Execute去执行? 因为InvokeAll, 并不关心执行顺序,而InvokeAny需要。

问题:

  • 如果task无法响应Interrupt,那么线程将无法被回收,将会导致内存问题。所以无论是runnable还是callable,都必须要响应interrupt。否则非常容易导致内存泄露。

  • 如果你想自己实现一个Future接口,并放到这个方法执行,那么注意了

    1. f.get()方法要以阻塞的方式并最终返回结果。

    2. f.isDone一定要判断对,否则结果的返回将是灾难性的。

    3. f.cancel(true), 必须要保证能结束掉线程,否则极易OOM(Out of Memory)。


public <T> List<Future<T>> invokeAll(Collection<? extends Callable<T>> tasks, long timeout, TimeUnit unit)  throws InterruptedException

基本与上一个方法一样的逻辑,只不过多了超时的判断。


总结:

实现逻辑其实并不复杂,但是有一个思想始终贯穿,具体的执行方法最终都会回归到Execute方法,那么一旦定好了Execute的执行策略,无论怎么变整个框架都是稳固的。之前说的Executor和ExecutorService的区别和设计理念,应该可以理解了吧。

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部