文档章节

spark reduceByKey()和 reduceByKey(,para)的时间差

K
 Kadima
发布于 2015/12/23 00:40
字数 62
阅读 40
收藏 0


import time

t=[]


for i in range(1,10000000000):
    t.append((i,i))
tsc=sc.parallelize(t)
def fun1(d):
    t1=time.time()
    d.reduceByKey(lambda x,y:x*y)
    t2=time.time()
    return t2-t1
def fun2(d):
    t1=time.time()
    d.reduceByKey(lambda x,y:x*y,10)
    t2=time.time()
    return t2-t1


>>> fun1(tsc)
0.033590078353881836
>>> fun2(tsc)
0.03184199333190918

© 著作权归作者所有

共有 人打赏支持
K
粉丝 5
博文 20
码字总数 8451
作品 0
崇明
打造基于hadoop的网站日志分析系统(5)之spark在日志分析系统里的简单应用

1.下载spark和运行 wget http://apache.fayea.com/apache-mirror/spark/spark-1.0.0/spark-1.0.0-bin-hadoop2.tgz 我这里下载的是1.0.0版,由于我们只是测试spark的用法所以不需要配置spark集...

豚鼠窝窝
2014/07/10
0
0
Spark初识入门core (一)

Spark初识入门core (一) 标签(空格分隔): Spark的部分 一:spark 简介 1.1 spark 的来源 Hive Storm Mahout Griph Spark Core Spark SQL Spark Streaming Spark ML Spark GraphX Spark......

flyfish225
05/07
0
0
Spark Streaming初试

Spark Streaming初试 yum install nc.x8664 ./bin/spark-shell --total-executor-cores 34 敲入下面程序: import org.apache.spark.SparkConf import org.apache.spark.streaming.{Seconds......

月下独酌100
2015/09/01
0
0
Spark初识入门Core (一)

Spark初识入门core (一) 标签(空格分隔): Spark的部分 一:spark 简介 1.1 spark 的来源 Hive Storm Mahout Griph Spark Core Spark SQL Spark Streaming Spark ML Spark GraphX Spark......

flyfish225
05/07
0
0
最最简单的~WordCount¬

sc.textFile("hdfs://....").flatMap(line =>line.split(" ")).map(w =>(w,1)).reduceByKey(+).foreach(println) 不使用reduceByKey sc.textFile("hdfs://....").flatMap(l=>l.split(" ")).m......

雪童子
2015/10/21
0
0

没有更多内容

加载失败,请刷新页面

加载更多

RabbitMq异常处理

1.查找指定文件位置 find . -name "*erlang.cookie" 2.Rabbitmq异常 ===========根据提示,应该是Erlang的cookie出现问题 attempted to contact: ['rabbit@DESKTOP-RVK1IHE'] rabbit@DESKTO......

zhaochaochao
25分钟前
2
0
Java虚拟机学习笔记

jconsole的连接 JConsole的远程连接 JConsole远程连接配置(用VisualVM进行远程连接的配置和JConsole是一摸一样滴) JVM之jconsole远程连接配置...

OSC_fly
25分钟前
1
0
区块链教程以太坊源码分析downloader-peer源码分析

  兄弟连区块链教程以太坊源码分析downloader-peer源码分析,区块链行业正逐渐褪去发展之初的浮躁、回归理性,表面上看相关人才需求与身价似乎正在回落。但事实上,正是初期泡沫的渐退,让...

兄弟连区块链入门教程
28分钟前
2
0
ubuntu 自定义记录用户登录以及操作日志

root@ms:~# cd /etc#更改之前先备份,养成良好的习惯,否则肠子都要悔青了root@ms:/etc# cp profile profile.bakroot@ms:/etc# vi profile 在文章末尾加入下列shell脚本 history US...

Marhal
28分钟前
1
0
liunx 下使用rpm进行软件卸载

rpm -qa | grep php 列出所有的php相关的rpm包 rpm -e xxx 删除包

bengozhong
28分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部