spark reduceByKey()和 reduceByKey(,para)的时间差
博客专区 > Kadima 的博客 > 博客详情
spark reduceByKey()和 reduceByKey(,para)的时间差
Kadima 发表于2年前
spark reduceByKey()和 reduceByKey(,para)的时间差
  • 发表于 2年前
  • 阅读 34
  • 收藏 0
  • 点赞 0
  • 评论 0

新睿云服务器60天免费使用,快来体验!>>>   


import time

t=[]


for i in range(1,10000000000):
    t.append((i,i))
tsc=sc.parallelize(t)
def fun1(d):
    t1=time.time()
    d.reduceByKey(lambda x,y:x*y)
    t2=time.time()
    return t2-t1
def fun2(d):
    t1=time.time()
    d.reduceByKey(lambda x,y:x*y,10)
    t2=time.time()
    return t2-t1


>>> fun1(tsc)
0.033590078353881836
>>> fun2(tsc)
0.03184199333190918

标签: spark
  • 打赏
  • 点赞
  • 收藏
  • 分享
共有 人打赏支持
粉丝 5
博文 19
码字总数 8451
×
Kadima
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: