文档章节

使用aggregate函数计算平均数

KYO4321
 KYO4321
发布于 2017/06/27 16:57
字数 62
阅读 10
收藏 0
nums = sc.parallelize([1,2,3,4])
seqOp = (lambda x, y: (x[0] + y, x[1] + 1))
combOp = (lambda x, y: (x[0] + y[0], x[1] + y[1]))
sumCount = nums.aggregate((0, 0), seqOp, combOp)
from __future__ import division  ##用于python 2.x中使结果为浮点数
sumCount[0] / sumCount[1]

© 著作权归作者所有

共有 人打赏支持
上一篇: 专业技能准备
下一篇: spark做聚合计算
KYO4321
粉丝 3
博文 92
码字总数 48951
作品 0
深圳
程序员
私信 提问
加载中

评论(3)

KYO4321
KYO4321
https://www.aliexpress.com/item/50618-8ml-Pure-Colors-UV-Gel-Manicure-Nail-Art-Tips-Polish-Design-DIY-1-PCS/32683741646.html?spm=2114.search0103.3.29.XkmwlC&ws_ab_test=searchweb0_0,searchweb201602_5_10152_10065_10151_10344_10068_10345_10342_10343_10340_10341_10541_10562_10084_10083_10307_5680011_10301_10060_10155_10179_10154_10056_10055_10539_10537_10312_10536_10059_10313_10314_10534_10533_100031_10103_10073_10102_10557_10142_10107,searchweb201603_25,ppcSwitch_5&btsid=21756ff0-da1a-4543-871c-420a02a0c3ae&algo_expid=061cc558-d7f1-4be4-94a2-c2b235b17764-3&algo_pvid=061cc558-d7f1-4be4-94a2-c2b235b17764
KYO4321
KYO4321
https://jingyan.baidu.com/article/676629978df38a54d41b847e.html
KYO4321
KYO4321
https://www.kaggle.com/account/verify?id=2908ff27-90ac-4178-8c6f-c3509be791db
Spark SQL 用户自定义函数UDF、用户自定义聚合函数UDAF 教程(Java踩坑教学版)

在Spark中,也支持Hive中的自定义函数。自定义函数大致可以分为三种: UDF(User-Defined-Function),即最基本的自定义函数,类似tochar,todate等 UDAF(User- Defined Aggregation Funcation...

青夜之衫
2017/12/04
0
0
MariaDB · 新特性 · 窗口函数

简介 窗口函数(Window Function)是 SQL:2013 标准中提出的,在后续标准版本的更新中也多次扩展,最新的版本是 SQL:2011 中的标准。 从某些方面来说,窗口函数与聚合函数(Aggregate Funct...

阿里云RDS-数据库内核组
2016/06/06
0
0
Manipulating Data - 计算移动平均数

问题 你想要计算移动平均数 解决方案 假设你的数据时带缺失值的噪声正弦波。 函数可以用来计算移动平均数。 plot of chunk unnamed-chunk-2 会在遭遇缺失值时留下空缺,就像上面图中显示的一...

王诗翔
01/20
0
0
django aggregate和annotate的区别

from django.db import models class Book(models.Model): """图书模型""" name = models.CharField(max_length=300) pages = models.IntegerField() price = models.FloatField() rating = ......

wenguonideshou
08/23
0
0
Pandas系列6-DataFrame的分组与聚合

在对数据进行处理的时候,分组与聚合是非常常用的操作。在Pandas中此类操作主要是通过groupby函数来完成的。 先看一个实际的例子: 通过groupby函数生成一个groupby对象,如下: 整个分组统计...

geekpy
07/23
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Elasticsearch通关教程(五):如何通过SQL查询Elasticsearch

  这篇博文本来是想放在全系列的大概第五、六篇的时候再讲的,毕竟查询是在索引创建、索引文档数据生成和一些基本概念介绍完之后才需要的。当前面的一些知识概念全都讲解完之后再讲解查询是...

SEOwhywhy
8分钟前
0
0
以太坊PHP离线交易开发包

EthTool开发包适用于希望采用裸交易的PHP以太坊应用开发,主要包含以下特性: 支持裸交易部署/调用合约 内置etherscan和infura支持 keystore生成与读取,兼容geth/parity 采用裸交易的一个好...

笔阁
36分钟前
2
0
SRE的含义及与 DevOps 如何关联?

虽然站点可靠性工程师(site reliability engineer SRE)角色在近几年变得流行起来,但是很多人 —— 甚至是软件行业里的 —— 还不知道 SRE 是什么或者 SRE 都干些什么。为了搞清楚这些问题...

linuxCool
37分钟前
1
0
月入3万之一个程序员的转行坎坷历程

陈年往事 “我月入3万,怎么会少少了你一个鸡蛋啊?” 这是2017年9月左右的一个新闻,一位煎饼摊大妈因和顾客争执时脱口而出这样一句话而走红。当时还上了各大新闻的头条。 互联网兴起今天,...

苏南-首席填坑官
58分钟前
3
1
OSChina 周一乱弹 —— 眼看着这颗陨石砸了下来

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @莱布妮子:分享Nachtblut的单曲《Antik》 《Antik》- Nachtblut 手机党少年们想听歌,请使劲儿戳(这里) @mr_chip :上海的初雪之后有点冷 ...

小小编辑
今天
627
10

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部