文档章节

Java 8新特性探究(三)解开lambda最强作用的神秘面纱

OSC闲人
 OSC闲人
发布于 2013/11/18 11:00
字数 1992
阅读 17279
收藏 204

我们期待了很久lambda为java带来闭包的概念,但是如果我们不在集合中使用它的话,就损失了很大价值。现有接口迁移成为lambda风格的问题已经通过default methods解决了,在这篇文章将深入解析Java集合里面的批量数据操作(bulk operation),解开lambda最强作用的神秘面纱。

1.关于JSR335

JSR是Java Specification Requests的缩写,意思是Java 规范请求,Java 8 版本的主要改进是 Lambda 项目(JSR 335),其目的是使 Java 更易于为多核处理器编写代码。JSR 335=lambda表达式+接口改进(默认方法)+批量数据操作。加上前面两篇,我们已是完整的学习了JSR335的相关内容了。

2.外部VS内部迭代

以前Java集合是不能够表达内部迭代的,而只提供了一种外部迭代的方式,也就是for或者while循环。

List persons = asList(new Person("Joe"), new Person("Jim"), new Person("John"));
for (Person p :  persons) {
   p.setLastName("Doe");
}
上面的例子是我们以前的做法,也就是所谓的外部迭代,循环是固定的顺序循环。在现在多核的时代,如果我们想并行循环,不得不修改以上代码。效率能有多大提升还说定,且会带来一定的风险(线程安全问题等等)。
要描述内部迭代,我们需要用到Lambda这样的类库,下面利用lambda和Collection.forEach重写上面的循环
persons.forEach(p->p.setLastName("Doe"));
现在是由jdk 库来控制循环了,我们不需要关心last name是怎么被设置到每一个person对象里面去的,库可以根据运行环境来决定怎么做,并行,乱序或者懒加载方式。这就是内部迭代,客户端将行为p.setLastName当做数据传入api里面。

内部迭代其实和集合的批量操作并没有密切的联系,借助它我们感受到语法表达上的变化。真正有意思的和批量操作相关的是新的流(stream)API。新的java.util.stream包已经添加进JDK 8了。

3.Stream API

流(Stream)仅仅代表着数据流,并没有数据结构,所以他遍历完一次之后便再也无法遍历(这点在编程时候需要注意,不像Collection,遍历多少次里面都还有数据),它的来源可以是Collection、array、io等等。

3.1中间与终点方法

流作用是提供了一种操作大数据接口,让数据操作更容易和更快。它具有过滤、映射以及减少遍历数等方法,这些方法分两种:中间方法和终端方法,“流”抽象天生就该是持续的,中间方法永远返回的是Stream,因此如果我们要获取最终结果的话,必须使用终点操作才能收集流产生的最终结果。区分这两个方法是看他的返回值,如果是Stream则是中间方法,否则是终点方法。具体请参照Stream的api

简单介绍下几个中间方法(filter、map)以及终点方法(collect、sum)

3.1.1Filter

在数据流中实现过滤功能是首先我们可以想到的最自然的操作了。Stream接口暴露了一个filter方法,它可以接受表示操作的Predicate实现来使用定义了过滤条件的lambda表达式。

List persons = …
Stream personsOver18 = persons.stream().filter(p -> p.getAge() > 18);//过滤18岁以上的人

3.1.2Map

假使我们现在过滤了一些数据,比如转换对象的时候。Map操作允许我们执行一个Function的实现(Function<T,R>的泛型T,R分别表示执行输入和执行结果),它接受入参并返回。首先,让我们来看看怎样以匿名内部类的方式来描述它:

Stream adult= persons
              .stream()
              .filter(p -> p.getAge() > 18)
              .map(new Function() {
                  @Override
                  public Adult apply(Person person) {
                     return new Adult(person);//将大于18岁的人转为成年人
                  }
              });
现在,把上述例子转换成使用lambda表达式的写法:
Stream map = persons.stream()
                    .filter(p -> p.getAge() > 18)
                    .map(person -> new Adult(person));

3.1.3Count

count方法是一个流的终点方法,可使流的结果最终统计,返回int,比如我们计算一下满足18岁的总人数

int countOfAdult=persons.stream()
                       .filter(p -> p.getAge() > 18)
                       .map(person -> new Adult(person))
                       .count();

3.1.4Collect

collect方法也是一个流的终点方法,可收集最终的结果

List adultList= persons.stream()
                       .filter(p -> p.getAge() > 18)
                       .map(person -> new Adult(person))
                       .collect(Collectors.toList());
或者,如果我们想使用特定的实现类来收集结果:
List adultList = persons
                 .stream()
                 .filter(p -> p.getAge() > 18)
                 .map(person -> new Adult(person))
                 .collect(Collectors.toCollection(ArrayList::new));

篇幅有限,其他的中间方法和终点方法就不一一介绍了,看了上面几个例子,大家明白这两种方法的区别即可,后面可根据需求来决定使用。

3.2顺序流与并行流

每个Stream都有两种模式:顺序执行和并行执行。
顺序流:

List <Person> people = list.getStream.collect(Collectors.toList());
并行流:
List <Person> people = list.getStream.parallel().collect(Collectors.toList());
顾名思义,当使用顺序方式去遍历时,每个item读完后再读下一个item。而使用并行去遍历时,数组会被分成多个段,其中每一个都在不同的线程中处理,然后将结果一起输出。

3.2.1并行流原理:

List originalList = someData;
split1 = originalList(0, mid);//将数据分小部分
split2 = originalList(mid,end);
new Runnable(split1.process());//小部分执行操作
new Runnable(split2.process());
List revisedList = split1 + split2;//将结果合并
大家对hadoop有稍微了解就知道,里面的 MapReduce  本身就是用于并行处理大数据集的软件框架,其 处理大数据的核心思想就是大而化小,分配到不同机器去运行map,最终通过reduce将所有机器的结果结合起来得到一个最终结果,与MapReduce不同,Stream则是利用多核技术可将大数据通过多核并行处理,而MapReduce则可以分布式的。

3.2.2顺序与并行性能测试对比

如果是多核机器,理论上并行流则会比顺序流快上一倍,下面是测试代码
long t0 = System.nanoTime();

        //初始化一个范围100万整数流,求能被2整除的数字,toArray()是终点方法

        int a[]=IntStream.range(0, 1_000_000).filter(p -> p % 2==0).toArray();

        long t1 = System.nanoTime();

        //和上面功能一样,这里是用并行流来计算

        int b[]=IntStream.range(0, 1_000_000).parallel().filter(p -> p % 2==0).toArray();

        long t2 = System.nanoTime();

        //我本机的结果是serial: 0.06s, parallel 0.02s,证明并行流确实比顺序流快

        System.out.printf("serial: %.2fs, parallel %.2fs%n", (t1 - t0) * 1e-9, (t2 - t1) * 1e-9);

3.3关于Folk/Join框架

应用硬件的并行性在java 7就有了,那就是 java.util.concurrent 包的新增功能之一是一个 fork-join 风格的并行分解框架,同样也很强大高效,有兴趣的同学去研究,这里不详谈了,相比Stream.parallel()这种方式,我更倾向于后者。

4.总结

如果没有lambda,Stream用起来相当别扭,他会产生大量的匿名内部类,比如上面的3.1.2map例子,如果没有default method,集合框架更改势必会引起大量的改动,所以lambda+default method使得jdk库更加强大,以及灵活,Stream以及集合框架的改进便是最好的证明。

java 8特性探究系列写了3篇了,作为大餐,将java 8的重量级特性lambda与default method写在前面,下篇上个小菜,荤素搭配,也是语言相关的,JEP104 Java 类型的注解的探究,同时谢谢大家的支持,欢迎提出建议。如果你想了解哪些特性,欢迎给我发留言。

转载时候请注明出处。 http://my.oschina.net/benhaile 

© 著作权归作者所有

共有 人打赏支持
OSC闲人

OSC闲人

粉丝 3604
博文 22
码字总数 26172
作品 1
深圳
技术主管
私信 提问
加载中

评论(42)

孙卓
孙卓
//我本机的结果是serial: 0.06s, parallel 0.02s,证明并行流确实比顺序流快
这段是有问题的,如果你先执行并行的代码 后执行串行的代码 会发现结果是串行的变快了,所以这段代码结果不是表面那样的,如果简单地逻辑就像示例代码分开执行 分开跑两次发现并行时间更久 成本会更高。
Rickxue
Rickxue
long t0 = System.nanoTime();

//初始化一个范围100万整数流,求能被2整除的数字,toArray()是终点方法

int a[]=IntStream.range(0, 1_000_000).filter(p -> p % 2==0).toArray();

long t1 = System.nanoTime();

//和上面功能一样,这里是用并行流来计算

int b[]=IntStream.range(0, 1_000_000).parallel().filter(p -> p % 2==0).toArray();

long t2 = System.nanoTime();

//我本机的结果是serial: 0.06s, parallel 0.02s,证明并行流确实比顺序流快

System.out.printf("serial: %.2fs, parallel %.2fs%n", (t1 - t0) * 1e-9, (t2 - t1) * 1e-9);

把serial 和 parallel 的执行顺序调换一下以后。执行时间serial快与parallel的。楼主是否在测试环境上没做到统一
Fly的狐狸
Fly的狐狸

引用来自“成熟的毛毛虫”的评论

引用来自“相见欢”的评论

引用来自“成熟的毛毛虫”的评论

引用来自“相见欢”的评论

比较奇怪的是,并行流那个例子,在我本机跑起来却是并行流更慢serial: 0.04s, parallel 0.15s,楼主觉得有什么比较合理的解释?

跑多几次也是一样的结果吗?难道本机的cpu是单核的。zz

多次也是一样的,配的i5核,应该是双处理核心吧?难道是时间太快,线程调度的代价比处理时间还长。

也有可能,可以将IntStream.range(0, 1_000_000)提高十倍到 0-10_000_000试试,再看看结果。。
我的测试结果也是如此serial: 0.03s, parallel 0.12s;提高10倍serial: 0.10s, parallel 0.17s
P
Paul.Joe
线程的创建是很慢的,最好有个线程池,可以借用回收线程,这样可以体现并行的优势
dolphinzhang
dolphinzhang
我是来试试表情的0
sam_chin
sam_chin

引用来自“sam_chin”的评论

3.2.2那个例子,我的时间和你一样,你的电脑什么配置?

引用来自“成熟的毛毛虫”的评论

i7 8g
我也是,W520; 上面几个哥们i5的结果就完全不一样;这么说来很鸡肋啊
OSC闲人
OSC闲人

引用来自“sam_chin”的评论

3.2.2那个例子,我的时间和你一样,你的电脑什么配置?
i7 8g
sam_chin
sam_chin
3.2.2那个例子,我的时间和你一样,你的电脑什么配置?
开源X
开源X
非常好,又学习了
笑笑丑
笑笑丑
public class Test {
  
  public static void main(String[] args) throws Exception {
    String sql = "select * from test where id in (?, ?, ?)";
    List<String> params = Arrays.asList("005C9F29F5DF4D4F97A606546B79451F", "2B7F90C53ECE4AD4XD466500A2386C7BD", "ad1c578682db4136b23e3a4675ed1382");
    String reduce1 = params.stream().reduce(sql, Test::setParameter);
    String reduce2 = params.parallelStream().reduce(sql, Test::setParameter);
    System.out.println(reduce1);
    System.out.println(reduce2);
  }
  
  static String setParameter(String sql, String param) {
    return sql.replaceFirst("\\?", "'" + param + "'");
  }

}

楼主 请问下 这两段代码 为什么执行结果不一样啊。不是并行没区别么?
Java 8新特性探究(二)深入解析默认方法

上篇讲了 lambda表达式的语法,但只是 JEP126 特性的一部分,另一部分就是默认方法(也称为虚拟扩展方法或防护方法) 什么是默认方法,为什么要有默认方法 简单说,就是接口可以有实现方法,...

OSC闲人
2013/11/13
0
49
Java 8新特性探究(一)通往lambda之路_语法篇

现在开始要灌输一些概念性的东西了,这能帮助你理解lambda更加透彻一点,如果你之前听说过,也可当是温习,所谓温故而知新...... 在开始之前,可以同步下载jdk 8 和 IDE,IDE根据个人习惯了,...

OSC闲人
2013/11/08
0
52
Java 11 正式发布,这 8 个逆天新特性教你写出更牛逼的代码

美国时间 09 月 25 日,Oralce 正式发布了 Java 11,这是据 Java 8 以后支持的首个长期版本。 为什么说是长期版本,看下面的官方发布的支持路线图表。 可以看出 Java 8 扩展支持到 2025 年,...

Java技术栈
09/27
0
0
Java 8特性探究(2):深入解析默认方法

上篇讲了lambda表达式的语法,但只是 JEP126 特性的一部分,另一部分就是默认方法(也称为虚拟扩展方法或防护方法) 什么是默认方法,为什么要有默认方法 简单说,就是接口可以有实现方法,而...

独孤环宇
2017/11/03
0
0
Lambda 表达式有何用处?如何使用?(针对Java8)

什么是Lambda? 我们知道,对于一个Java变量,我们可以赋给其一个“值”。 如果你想把“一块代码”赋给一个Java变量,应该怎么做呢? 比如,我想把右边那块代码,赋给一个叫做aBlockOfCode的J...

亭子happy
06/06
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Spring应用学习——AOP

1. AOP 1. AOP:即面向切面编程,采用横向抽取机制,取代了传统的继承体系的重复代码问题,如下图所示,性能监控、日志记录等代码围绕业务逻辑代码,而这部分代码是一个高度重复的代码,也就...

江左煤郎
今天
3
0
eclipse的版本

Eclipse各版本代号一览表 Eclipse的设计思想是:一切皆插件。Eclipse核心很小,其它所有功能都以插件的形式附加于Eclipse核心之上。 Eclipse基本内核包括:图形API(SWT/Jface),Java开发环...

mdoo
今天
1
0
SpringBoot源码:启动过程分析(一)

本文主要分析 SpringBoot 的启动过程。 SpringBoot的版本为:2.1.0 release,最新版本。 一.时序图 还是老套路,先把分析过程的时序图摆出来:时序图-SpringBoot2.10启动分析 二.源码分析 首...

Jacktanger
今天
3
0
小白带你认识netty(二)之netty服务端启动(上)

上一章 中的标准netty启动代码中,ServerBootstrap到底是如何启动的呢?这一章我们来瞅下。 server.group(bossGroup, workGroup);server.channel(NioServerSocketChannel.class).optio...

天空小小
今天
3
0
聊聊storm trident batch的分流与聚合

序 本文主要研究一下storm trident batch的分流与聚合 实例 TridentTopology topology = new TridentTopology(); topology.newStream("spout1", spout) .p......

go4it
昨天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部