文档章节

实现了BSP模型的计算框架

MtrS
 MtrS
发布于 2014/11/16 19:15
字数 679
阅读 722
收藏 1

阿里云携手百名商业领袖、技术大咖,带您一探行进中的数字新基建!>>>

实现了BSP模型的计算框架

1.Pregel Google的大规模图计算框架,首次提出了将BSP模型应用于图计算,具体请看Pregel——大规模图处理系统 ,不过至今未开源。 2.Apache Giraph ASF社区的Incubator项目,由Yahoo!贡献,是BSP的java实现,专注于迭代图计算(如pagerank,最短连接等),每一个job就是一个没有reducer过程的hadoop job。http://giraph.apache.org/ 3.Apache Hama 也是ASF社区的Incubator项目,与Giraph不同的是它是一个纯粹的BSP模型的java实现,并且不单单是用于图计算,意在提供一个通用的BSP模型的应用框架。http://hama.apache.org/ 4.GraphLab CMU的一个迭代图计算框架,C++实现的一个BSP模型应用框架,不过对BSP模型做了一定的修改,比如每一个超步之后并不设置全局同步点,计算可以完全异步进行,加快了任务的完成时间。http://graphlab.org/ 5.Spark 加州大学伯克利分校实现的一个专注于迭代计算的应用框架,用Scala语言写就,提出了RDD(弹性分布式数据集)的概念,每一步的计算数据都从上一步结果精简而来,大大降低了网络传输,同时保证了血统的纯正性(即出错只需返回上一步即可),增强了容错功能。Spark论文里也基于此框架实现了BSP模型(叫Bagel)。值得一提的是国内的豆瓣也基于该思想用Python实现了这样一个框架叫Dpark,并且已经开源。https://github.com/douban/dpark 6.Trinity 这是微软的一个图计算平台,C#开发的,它是为了提供一个专用的图计算应用平台,包括底层的存储到上层的应用,应该是可以实现BSP模型的,文章发在SIGMOD13上,可恨的是也不开源。主页http://research.microsoft.com/en-us/projects/trinity/ 以下几个也是一些BSP的实现,不过关注度不是很高,基本都是对Pregel的开源实现: 7.GoldenOrb 另一个BSP模型的java实现,是对Pregel的一个开源实现,应用在hadoop上。官网:http://www.goldenorbos.org/(要翻墙),源码:https://github.com/jzachr/goldenorb 8.Phoebus Erlang语言实现的BSP模型,也是对Pregel的一个开源实现。https://github.com/xslogic/phoebus 9.Rubicon Pregel的开源实现。https://launchpad.net/rubicon 10.Signal/Collect 也是一个Scala版的BSP模型实现。http://code.google.com/p/signal-collect/ 11.PEGASUS 在hadoop上实现的一个java版的BSP模型,发表在SIGKDD2011上。http://www.cs.cmu.edu/~pegasus/index.htm

参考链接: http://blog.sciencenet.cn/blog-425672-556241.html http://inothacker.blog.163.com/blog/static/135861902201091214945936/

本文转载自:http://wuyanzan60688.blog.163.com/blog/static/12777616320138235647831/

MtrS
粉丝 35
博文 962
码字总数 577891
作品 0
榆林
私信 提问
加载中

评论(0)

【STM32H7教程】第34章 STM32H7的定时器应用之TIM1-TIM17的PWM实现

完整教程下载地址:http://www.armbbs.cn/forum.php?mod=viewthread&tid=86980 第34章 STM32H7的定时器应用之TIM1-TIM17的PWM实现 本章教程为大家讲解定时器应用之TIM1 – TIM17所有定时器的...

osc_20n6g71c
2019/11/29
1
0
【STM32H7教程】第18章 STM32H7的GPIO应用之跑马灯

完整教程下载地址:http://www.armbbs.cn/forum.php?mod=viewthread&tid=86980 第18章 STM32H7的GPIO应用之跑马灯 本章教程为大家介绍STM32H7的GPIO应用之跑马灯,跑马灯作为经典的测试例程,...

osc_zg36vpk2
2019/05/09
6
0
【STM32H7教程】第33章 STM32H7的定时器应用之TIM1-TIM17的中断实现

完整教程下载地址:http://www.armbbs.cn/forum.php?mod=viewthread&tid=86980 第33章 STM32H7的定时器应用之TIM1-TIM17的中断实现 本章教程为大家讲解定时器应用之TIM1 – TIM17所有定时器的...

osc_vnse1t2o
2019/11/13
5
0
【STM32H7教程】第22章 STM32H7的SysTick实现多组软件定时器

完整教程下载地址:http://www.armbbs.cn/forum.php?mod=viewthread&tid=86980 第22章 STM32H7的SysTick实现多组软件定时器 本章节为大家讲解嘀嗒定时器SysTick,嘀嗒定时器比较容易掌握,其...

osc_tugm8wcv
2019/05/28
2
0
Spark学习之路 (二十八)分布式图计算系统

一、引言   在了解GraphX之前,需要先了解关于通用的分布式图计算框架的两个常见问题:图存储模式和图计算模式。 二、图存储模式   巨型图的存储总体上有边分割和点分割两种存储方式。2...

osc_k5ta3dng
2018/05/16
1
0

没有更多内容

加载失败,请刷新页面

加载更多

windows下安装M2Crypto

安装M2Crypto使用python里的pip安装功能安装即可。 步骤: 1、首先下载安装python 2.7版本 。下载完成后把python的路径加入到环境变量中 2、安装pip 。pip的下载地址为:https://pypi.python...

A_laoshiren
43分钟前
14
0
戳破中台泡沫,软件定义让数字中台脱虚入实

道路是曲折的,前途是光明的。 用这句话来形容数字中台当前的处境可谓是再恰当不过。从过去几年的轰轰烈烈,到年初备受各方质疑,数字中台从巅峰跌落到谷底,遭受了过山车般的待遇。其实对于...

大数据在线
43分钟前
12
0
vue源码---将data对象中的属性变成observable

function defineReactive(obj, key, val, cb) { Object.defineProperty(obj, key, { enumerable: true, configurable: true, get: () => { re......

gtandsn
45分钟前
11
0
我应该使用Vagrant还是Docker来创建一个孤立的环境? [关闭]

问题: I use Ubuntu for development and deployment and have a need for creating an isolated environment. 我使用Ubuntu进行开发和部署,并且需要创建一个隔离的环境。 I am consideri......

技术盛宴
48分钟前
28
0
PanDownload登录时账号登录失败,获取bdstoken失败

PanDownload一直以来都是我信赖的云盘下载工具,其下载速度确实是快 但天有不测风云,最近登录网盘账号时,提示账号登录失败,获取bdstoken失败 问题显现: 提示信息:账号登录失败,获取bds...

二营长意大利炮
48分钟前
40
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部