文档章节

实现了BSP模型的计算框架

MtrS
 MtrS
发布于 2014/11/16 19:15
字数 679
阅读 278
收藏 1

实现了BSP模型的计算框架

1.Pregel Google的大规模图计算框架,首次提出了将BSP模型应用于图计算,具体请看Pregel——大规模图处理系统 ,不过至今未开源。 2.Apache Giraph ASF社区的Incubator项目,由Yahoo!贡献,是BSP的java实现,专注于迭代图计算(如pagerank,最短连接等),每一个job就是一个没有reducer过程的hadoop job。http://giraph.apache.org/ 3.Apache Hama 也是ASF社区的Incubator项目,与Giraph不同的是它是一个纯粹的BSP模型的java实现,并且不单单是用于图计算,意在提供一个通用的BSP模型的应用框架。http://hama.apache.org/ 4.GraphLab CMU的一个迭代图计算框架,C++实现的一个BSP模型应用框架,不过对BSP模型做了一定的修改,比如每一个超步之后并不设置全局同步点,计算可以完全异步进行,加快了任务的完成时间。http://graphlab.org/ 5.Spark 加州大学伯克利分校实现的一个专注于迭代计算的应用框架,用Scala语言写就,提出了RDD(弹性分布式数据集)的概念,每一步的计算数据都从上一步结果精简而来,大大降低了网络传输,同时保证了血统的纯正性(即出错只需返回上一步即可),增强了容错功能。Spark论文里也基于此框架实现了BSP模型(叫Bagel)。值得一提的是国内的豆瓣也基于该思想用Python实现了这样一个框架叫Dpark,并且已经开源。https://github.com/douban/dpark 6.Trinity 这是微软的一个图计算平台,C#开发的,它是为了提供一个专用的图计算应用平台,包括底层的存储到上层的应用,应该是可以实现BSP模型的,文章发在SIGMOD13上,可恨的是也不开源。主页http://research.microsoft.com/en-us/projects/trinity/ 以下几个也是一些BSP的实现,不过关注度不是很高,基本都是对Pregel的开源实现: 7.GoldenOrb 另一个BSP模型的java实现,是对Pregel的一个开源实现,应用在hadoop上。官网:http://www.goldenorbos.org/(要翻墙),源码:https://github.com/jzachr/goldenorb 8.Phoebus Erlang语言实现的BSP模型,也是对Pregel的一个开源实现。https://github.com/xslogic/phoebus 9.Rubicon Pregel的开源实现。https://launchpad.net/rubicon 10.Signal/Collect 也是一个Scala版的BSP模型实现。http://code.google.com/p/signal-collect/ 11.PEGASUS 在hadoop上实现的一个java版的BSP模型,发表在SIGKDD2011上。http://www.cs.cmu.edu/~pegasus/index.htm

参考链接: http://blog.sciencenet.cn/blog-425672-556241.html http://inothacker.blog.163.com/blog/static/135861902201091214945936/

本文转载自:http://wuyanzan60688.blog.163.com/blog/static/12777616320138235647831/

共有 人打赏支持
MtrS
粉丝 30
博文 549
码字总数 352132
作品 0
榆林
Apache Hama 0.6.3 发布,并行计算框架

Apache Hama 0.6.3 发布,该版本兼容 Hadoop 2,增加了基于 BSP 的机器学习算法、动态图形 API 等。 Hama 是个计算框架,基于BSP (Bulk Synchronous Parallel大容量同步并行)计算技术,主要针...

oschina
2013/10/12
3K
11
Apache Hama 0.6.1 发布,并行计算框架

Hama 是个计算框架,基于BSP (Bulk Synchronous Parallel大容量同步并行)计算技术,主要针对大规模科学的计算。 这个版本还支持每个数据格式从简单的文本和SequenceFile输入图的工作,并提供更...

oschina
2013/04/03
1K
3
Apache Hama 0.6.0 发布,并行计算框架

Apache Hama 0.6.0 发布,Hama 是个计算框架,基于BSP (Bulk Synchronous Parallel大容量同步并行)计算技术,主要针对大规模科学的计算。...

oschina
2012/11/29
1K
0
Apache Hama 现支持 Hadoop YARN

Apache Hama 现在不单单是支持 Mesos,还支持 Hadoop YARN,使用在 Samsung Electronics。 YARN 是资源管理技术,让多个计算框架在同一个 Hadoop 集群里使用同样的底层存储运行。 更多内容请...

oschina
2015/03/06
1K
0
适于互联网的SEDA高并发架构

适于互联网的SEDA高并发架构 相关文章: 并发计算模型BSP与SEDA SEDA: An Architecture for Highly Concurrent Server Applications...

z_jordon
2015/05/30
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

kernel version does not match DSO version

错误信息: kernel version 384.11 does not match DSO version 384.130.0 原因是: cuda driver版本太低,不匹配DSO 简单有效的修复方法,升级nvidia driver, 步骤如下: 1. google seach ...

刘小米
今天
0
0
maven坐标和依赖

一、maven坐标详解 <groupId>com.fgt.club</groupId><artifactId>club-common-service-facade</artifactId><version>3.0.0</version><packaging>jar</packaging> maven的坐标元素说......

老韭菜
今天
1
0
springmvc-servlet.xml配置表功能解释

问:<?xml version="1.0" encoding="UTF-8" ?> 答: xml version="1.0"表示是此xml文件的版本是1.0 encoding="UTF-8"表示此文件的编码方式是UTF-8 问:<!DOCTYPE beans PUBLIC "-//SPRING//......

隐士族隐逸
今天
1
0
基于TP5的微信的公众号获取登录用户信息

之前讲过微信的公众号自动登录的菜单配置,这次记录一下在TP5项目中获取自动登录的用户信息并存到数据库的操作 基本的流程为:微信设置自动登录的菜单—>访问的URL指定的函数里获取用户信息—...

月夜中徘徊
今天
0
0
youTrack

package jetbrains.teamsys.license.runtime; 计算lis package jetbrains.ring.license.reader; 验证lis 安装后先不要生成lis,要把相关文件进行替换 ring-license-checker-1.0.41.jar char......

max佩恩
今天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部