文档章节

实现了BSP模型的计算框架

MtrS
 MtrS
发布于 2014/11/16 19:15
字数 679
阅读 282
收藏 1

实现了BSP模型的计算框架

1.Pregel Google的大规模图计算框架,首次提出了将BSP模型应用于图计算,具体请看Pregel——大规模图处理系统 ,不过至今未开源。 2.Apache Giraph ASF社区的Incubator项目,由Yahoo!贡献,是BSP的java实现,专注于迭代图计算(如pagerank,最短连接等),每一个job就是一个没有reducer过程的hadoop job。http://giraph.apache.org/ 3.Apache Hama 也是ASF社区的Incubator项目,与Giraph不同的是它是一个纯粹的BSP模型的java实现,并且不单单是用于图计算,意在提供一个通用的BSP模型的应用框架。http://hama.apache.org/ 4.GraphLab CMU的一个迭代图计算框架,C++实现的一个BSP模型应用框架,不过对BSP模型做了一定的修改,比如每一个超步之后并不设置全局同步点,计算可以完全异步进行,加快了任务的完成时间。http://graphlab.org/ 5.Spark 加州大学伯克利分校实现的一个专注于迭代计算的应用框架,用Scala语言写就,提出了RDD(弹性分布式数据集)的概念,每一步的计算数据都从上一步结果精简而来,大大降低了网络传输,同时保证了血统的纯正性(即出错只需返回上一步即可),增强了容错功能。Spark论文里也基于此框架实现了BSP模型(叫Bagel)。值得一提的是国内的豆瓣也基于该思想用Python实现了这样一个框架叫Dpark,并且已经开源。https://github.com/douban/dpark 6.Trinity 这是微软的一个图计算平台,C#开发的,它是为了提供一个专用的图计算应用平台,包括底层的存储到上层的应用,应该是可以实现BSP模型的,文章发在SIGMOD13上,可恨的是也不开源。主页http://research.microsoft.com/en-us/projects/trinity/ 以下几个也是一些BSP的实现,不过关注度不是很高,基本都是对Pregel的开源实现: 7.GoldenOrb 另一个BSP模型的java实现,是对Pregel的一个开源实现,应用在hadoop上。官网:http://www.goldenorbos.org/(要翻墙),源码:https://github.com/jzachr/goldenorb 8.Phoebus Erlang语言实现的BSP模型,也是对Pregel的一个开源实现。https://github.com/xslogic/phoebus 9.Rubicon Pregel的开源实现。https://launchpad.net/rubicon 10.Signal/Collect 也是一个Scala版的BSP模型实现。http://code.google.com/p/signal-collect/ 11.PEGASUS 在hadoop上实现的一个java版的BSP模型,发表在SIGKDD2011上。http://www.cs.cmu.edu/~pegasus/index.htm

参考链接: http://blog.sciencenet.cn/blog-425672-556241.html http://inothacker.blog.163.com/blog/static/135861902201091214945936/

本文转载自:http://wuyanzan60688.blog.163.com/blog/static/12777616320138235647831/

共有 人打赏支持
MtrS
粉丝 32
博文 566
码字总数 357787
作品 0
榆林
私信 提问
Apache Hama 0.6.3 发布,并行计算框架

Apache Hama 0.6.3 发布,该版本兼容 Hadoop 2,增加了基于 BSP 的机器学习算法、动态图形 API 等。 Hama 是个计算框架,基于BSP (Bulk Synchronous Parallel大容量同步并行)计算技术,主要针...

oschina
2013/10/12
3.1K
11
Apache Hama 0.6.1 发布,并行计算框架

Hama 是个计算框架,基于BSP (Bulk Synchronous Parallel大容量同步并行)计算技术,主要针对大规模科学的计算。 这个版本还支持每个数据格式从简单的文本和SequenceFile输入图的工作,并提供更...

oschina
2013/04/03
1K
3
Apache Hama 0.6.0 发布,并行计算框架

Apache Hama 0.6.0 发布,Hama 是个计算框架,基于BSP (Bulk Synchronous Parallel大容量同步并行)计算技术,主要针对大规模科学的计算。...

oschina
2012/11/29
1K
0
适于互联网的SEDA高并发架构

适于互联网的SEDA高并发架构 相关文章: 并发计算模型BSP与SEDA SEDA: An Architecture for Highly Concurrent Server Applications...

z_jordon
2015/05/30
0
0
Apache Hama 现支持 Hadoop YARN

Apache Hama 现在不单单是支持 Mesos,还支持 Hadoop YARN,使用在 Samsung Electronics。 YARN 是资源管理技术,让多个计算框架在同一个 Hadoop 集群里使用同样的底层存储运行。 更多内容请...

oschina
2015/03/06
1K
0

没有更多内容

加载失败,请刷新页面

加载更多

简单模仿配置文件的反射机制

//Student类 public class Student { public void love() { System.out.println("python"); } } //Tesy类 public class Tesy { public static void main(String[] args) throws Exceptio......

南桥北木
23分钟前
2
0
你真的需要了解一下CSS变量 var()的用法

当Web项目变得越来越大时,他的CSS会变得像天文数字那么大而且还变得混乱。为了帮助我们解决这个问题,新的CSS变量很快就会出现在主流浏览器中,它让开发人员能够重用并轻松编辑重复出现的C...

前端小攻略
27分钟前
0
0
嵌入式应用选择合适的微控制器

为嵌入式应用选择微控制器有几个原因,即低成本,高集成度,增加可靠性,节省空间等。 准备所需硬件接口列表使用微控制器的基本硬件框图,准备一份微控制器需要支持的所有外设接口的列表。微...

linux-tao
今天
5
0

中国龙-扬科
今天
2
0
使用apicloud开发移动端APP,IOS list页面滚动卡顿解决记录

给内容容器添加样式:-webkit-overflow-scrolling:touch; -webkit-overflow-scrolling:属性控制元素在移动设备上是否使用滚动回弹效果. auto:使用普通滚动, 当手指从触摸屏上移开,滚动会立即...

万建宁
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部