文档章节

map/reduce学习总结

巴拉拉老魔仙
 巴拉拉老魔仙
发布于 2016/07/06 23:30
字数 225
阅读 21
收藏 0

map()接收一个函数,一个Iterable,将传入的函数依次作用到序列的每个元素,并把结果作为新的Iterator返回。


ps.

  • 可作用于for循环的对象都是Iterable类型;
  • 可作用于next()函数的对象都是Iterator类型,它们表示一个惰性计算的序列;
  • 集合数据类型如list、dict、str等是Iterable但不是Iterator,不过可以通过iter()函数获得一个Iterator对象;
  • Python的for循环本质上就是通过不断调用next()函数实现的。

reduce把一个函数作用在一个序列[x1,x2,x3,...]上,这个函数必须接收两个参数,reduce把结果继续和序列的下一个元素做累积计算。

 

    例:把字符串转换成浮点数

             return reduce(lambda x, y: x + y / (10 ** len(str(y))), map(int, s.split('.')))     

© 著作权归作者所有

巴拉拉老魔仙
粉丝 1
博文 1
码字总数 225
作品 0
沈阳
程序员
私信 提问
MongoDB查询总结

MongoDB查询总结 MongoDB查询总结 介绍 普通查询 聚合查询 Map-Reduce 示例说明 总结 相关资料 介绍 前面写过一篇关于Mongodb的例子——浅谈MongoDB数据库,当时使用的只是简单的查询,然后后...

流水不腐小夏
2017/10/25
0
0
hadoop学习二:MapReduce源码分析总结

1、Map-Reduce的逻辑过程 假设我们需要处理一批有关天气的数据,其格式如下: 按照ASCII码存储,每行一条记录 每一行字符从0开始计数,第15个到第18个字符为年 第25个到第29个字符为温度,其...

SibylY
2013/09/13
1K
1
hadoop(05)、使用Eclipse连接远程Hadoop集群

在前面的文中我们分别搭建了单机和集群的Hadoop环境,今天我们将实践使用Eclispe开发工具安装 hadoop的开发插件,并且使用hadoop插件连接Hadoop远程集群,文中有什么不对的地方,请大家指出来...

MaxBill
2017/12/22
420
0
大数据开发:剖析Hadoop和Spark的Shuffle过程差异

一、前言 对于基于MapReduce编程范式的分布式计算来说,本质上而言,就是在计算数据的交、并、差、聚合、排序等过程。而分布式计算分而治之的思想,让每个节点只计算部分数据,也就是只处理一...

架构师springboot
04/23
26
0
RxJava 学习笔记 (二)

作者: 一字马胡 转载标志 【2017-12-15】 更新日志 日期 更新内容 备注 2017-12-15 RxJava学习笔记系列 系列笔记 (二) 导入 在RxJava学习笔记系列的第一篇文章中,我分析了RxJava中核心的...

一字马胡
2017/12/15
0
0

没有更多内容

加载失败,请刷新页面

加载更多

VMware vSphere ESXi主机的访问控制

在vShpere中,访问ESXi主机的途径很多,如下: ESXi DCUI ESXi Shell ESXi SSH ESXi Host Client vCenter --> vSphere web client / vSphere Client VMware vSphere ESXi主机的访问控制,除了......

大别阿郎
28分钟前
3
0
大神讲解CGI、FastCGI和PHP-FPM关系图解

参考资料 概念了解:CGI,FastCGI,PHP-CGI与PHP-FPM:http://www.nowamagic.net/librarys/veda/detail/1319 php中fastcgi和php-fpm是什么东西:https://www.zybuluo.com/phper/note/50231 ......

网络小虾米
37分钟前
3
0
《DNS攻击防范科普系列3》 -如何保障 DNS 操作安全

引言 前两讲我们介绍了 DNS 相关的攻击类型,以及针对 DDoS 攻击的防范措施。这些都是更底层的知识,有同学就来问能否讲讲和我们的日常操作相关的知识点,今天我们就来说说和我们日常 DNS 操...

Mr_zebra
37分钟前
3
0
zk中ServerCnxn

实现接口Stats, Watcher 内部类 DisconnectReason CloseRequestException EndOfStreamException(流关闭) 属性 方法 getSessionTimeout 获取session失效时间 sendResponse 发送回复数据 se......

writeademo
42分钟前
3
0
如何将 Redis 用于微服务通信的事件存储

来源:Redislabs 作者:Martin Forstner 翻译:Kevin (公众号:中间件小哥) 以我的经验,将某些应用拆分成更小的、松耦合的、可协同工作的独立逻辑业务服务会更易于构建和维护。这些服务(也...

中间件小哥
46分钟前
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部