文档章节

共享变量 BroadcastVariable 实例

别寒
 别寒
发布于 2017/07/24 15:23
字数 185
阅读 5
收藏 0
package cn.hhb.spark.core;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.api.java.function.VoidFunction;
import org.apache.spark.broadcast.Broadcast;

import java.util.Arrays;
import java.util.List;

/**
 * Created by dell on 2017/7/13.
 */
public class BroadcastVariable {
    public static void main(String[] args) {
        SparkConf conf = new SparkConf()
                .setAppName("BroadcastVariable")
                .setMaster("local")
                .set("spark.testing.memory", "2147480000");

        JavaSparkContext sc = new JavaSparkContext(conf);

        /**
         * 在java中,创建共享变量,就是调用SparkContext的broadcast方法
         * 获取的返回结果Broadcast<Integer>类型
         */
        final int factor = 3;
        final Broadcast<Integer> factorBroadcast = sc.broadcast(factor);

        List<Integer> numberList = Arrays.asList(1,2,3,4,5);
        JavaRDD<Integer> number = sc.parallelize(numberList);

        // 让集合中的每个数字,都乘以外部定义的那个factor
        JavaRDD<Integer> multipleNumbers = number.map(new Function<Integer, Integer>() {
            @Override
            public Integer call(Integer number) throws Exception {
                // 使用共享变量时,调用其value(),即可获取其内部共享的值
                int factor = factorBroadcast.value();
                return number * factor;
            }
        });

        multipleNumbers.foreach(new VoidFunction<Integer>() {
            @Override
            public void call(Integer integer) throws Exception {
                System.out.println(integer);
            }
        });


        sc.close();
    }
}

© 著作权归作者所有

共有 人打赏支持
别寒
粉丝 29
博文 271
码字总数 137605
作品 0
永州
程序员
私信 提问
java -- static/final/abstract

1.static 当一个方法或者变量需要初始化时被加载,或者是经常被调用的时候,可以使用static修饰它们。弊处是:初始化被加载,比较占用内存。 java语言中没有 全局变量 这个概念,可以使用sta...

求是科技
2016/09/22
12
0
asp.net static 在服务器端问题

以前总以为是static是个好的修饰符,也知道它是被类的实例所共享的,一个实例改变了带有static修饰符变量的值,那么其他的实例都会变成修改后的值。这个在一台电脑上面永远不会出现问题,但是...

阿拉赛
2012/11/08
0
0
Java多线程编程:变量共享分析(Thread)

在编写多线程程序时,最重要的就是搞清楚哪些变量是共享的,哪些变量是不共享的。也就是要分析清楚其中的原理呀。 因为最近要使用多线程就看了一些,对使用Thread类的子类创建线程的情况,总...

旭东的博客
2013/05/22
0
0
关于Struts的Action一点说明(线程安全性)

今天看到有人发帖子问Action的问题,我想来说明一下。 虽然我也不能算精通,但是希望把我知道的和大家分享一下; 我没有用过Struts2,一直在用Struts。不知道是不是一样的。 对Struts,我可以...

人型电脑天使心
2012/09/03
0
0
Java中静态跟非静态的区别总结

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_34173549/article/details/79926923 一.静态变量跟实例变量的区别: 1.静态变量:由static修饰,在JVM中,...

追风筝的猪
04/13
0
0

没有更多内容

加载失败,请刷新页面

加载更多

EOS docker开发环境

使用eos docker镜像是部署本地EOS开发环境的最轻松愉快的方法。使用官方提供的eos docker镜像,你可以快速建立一个eos开发环境,可以迅速启动开发节点和钱包服务器、创建账户、编写智能合约....

汇智网教程
今天
10
0
《唐史原来超有趣》的读后感优秀范文3700字

《唐史原来超有趣》的读后感优秀范文3700字: 作者:花若离。我今天分享的内容《唐史原来超有趣》这本书的读后感,我将这本书看了一遍之后就束之高阁了,不过里面的内容一直在在脑海中回放,...

原创小博客
今天
16
0
IC-CAD Methodology知识图谱

CAD (Computer Aided Design),计算机辅助设计,指利用计算机及其图形设备帮助设计人员进行设计工作,这个定义同样可以用来近似描述IC公司CAD工程师这个岗位的工作。 早期IC公司的CAD岗位最初...

李艳青1987
今天
15
0
CompletableFuture get方法一直阻塞或抛出TimeoutException

问题描述 最近刚刚上线的服务突然抛出大量的TimeoutException,查询后发现是使用了CompletableFuture,并且在执行future.get(5, TimeUnit.SECONDS);时抛出了TimeoutException异常,导致接口响...

xiaolyuh
今天
8
0
dubbo 搭建与使用

官网:http://dubbo.apache.org/en-us/ 一,安装监控中心(可以不安装) admin管理控制台,monitor监控中心 下载 bubbo ops 这个是新版的,需要node.js环境,我没有就用老版的了...

小兵胖胖
今天
16
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部