文档章节

实现了BSP模型的计算框架

MtrS
 MtrS
发布于 2014/11/16 19:15
字数 679
阅读 281
收藏 1

实现了BSP模型的计算框架

1.Pregel Google的大规模图计算框架,首次提出了将BSP模型应用于图计算,具体请看Pregel——大规模图处理系统 ,不过至今未开源。 2.Apache Giraph ASF社区的Incubator项目,由Yahoo!贡献,是BSP的java实现,专注于迭代图计算(如pagerank,最短连接等),每一个job就是一个没有reducer过程的hadoop job。http://giraph.apache.org/ 3.Apache Hama 也是ASF社区的Incubator项目,与Giraph不同的是它是一个纯粹的BSP模型的java实现,并且不单单是用于图计算,意在提供一个通用的BSP模型的应用框架。http://hama.apache.org/ 4.GraphLab CMU的一个迭代图计算框架,C++实现的一个BSP模型应用框架,不过对BSP模型做了一定的修改,比如每一个超步之后并不设置全局同步点,计算可以完全异步进行,加快了任务的完成时间。http://graphlab.org/ 5.Spark 加州大学伯克利分校实现的一个专注于迭代计算的应用框架,用Scala语言写就,提出了RDD(弹性分布式数据集)的概念,每一步的计算数据都从上一步结果精简而来,大大降低了网络传输,同时保证了血统的纯正性(即出错只需返回上一步即可),增强了容错功能。Spark论文里也基于此框架实现了BSP模型(叫Bagel)。值得一提的是国内的豆瓣也基于该思想用Python实现了这样一个框架叫Dpark,并且已经开源。https://github.com/douban/dpark 6.Trinity 这是微软的一个图计算平台,C#开发的,它是为了提供一个专用的图计算应用平台,包括底层的存储到上层的应用,应该是可以实现BSP模型的,文章发在SIGMOD13上,可恨的是也不开源。主页http://research.microsoft.com/en-us/projects/trinity/ 以下几个也是一些BSP的实现,不过关注度不是很高,基本都是对Pregel的开源实现: 7.GoldenOrb 另一个BSP模型的java实现,是对Pregel的一个开源实现,应用在hadoop上。官网:http://www.goldenorbos.org/(要翻墙),源码:https://github.com/jzachr/goldenorb 8.Phoebus Erlang语言实现的BSP模型,也是对Pregel的一个开源实现。https://github.com/xslogic/phoebus 9.Rubicon Pregel的开源实现。https://launchpad.net/rubicon 10.Signal/Collect 也是一个Scala版的BSP模型实现。http://code.google.com/p/signal-collect/ 11.PEGASUS 在hadoop上实现的一个java版的BSP模型,发表在SIGKDD2011上。http://www.cs.cmu.edu/~pegasus/index.htm

参考链接: http://blog.sciencenet.cn/blog-425672-556241.html http://inothacker.blog.163.com/blog/static/135861902201091214945936/

本文转载自:http://wuyanzan60688.blog.163.com/blog/static/12777616320138235647831/

共有 人打赏支持
MtrS
粉丝 30
博文 549
码字总数 352132
作品 0
榆林
Apache Hama 0.6.3 发布,并行计算框架

Apache Hama 0.6.3 发布,该版本兼容 Hadoop 2,增加了基于 BSP 的机器学习算法、动态图形 API 等。 Hama 是个计算框架,基于BSP (Bulk Synchronous Parallel大容量同步并行)计算技术,主要针...

oschina
2013/10/12
3K
11
Apache Hama 0.6.1 发布,并行计算框架

Hama 是个计算框架,基于BSP (Bulk Synchronous Parallel大容量同步并行)计算技术,主要针对大规模科学的计算。 这个版本还支持每个数据格式从简单的文本和SequenceFile输入图的工作,并提供更...

oschina
2013/04/03
1K
3
Apache Hama 0.6.0 发布,并行计算框架

Apache Hama 0.6.0 发布,Hama 是个计算框架,基于BSP (Bulk Synchronous Parallel大容量同步并行)计算技术,主要针对大规模科学的计算。...

oschina
2012/11/29
1K
0
Apache Hama 现支持 Hadoop YARN

Apache Hama 现在不单单是支持 Mesos,还支持 Hadoop YARN,使用在 Samsung Electronics。 YARN 是资源管理技术,让多个计算框架在同一个 Hadoop 集群里使用同样的底层存储运行。 更多内容请...

oschina
2015/03/06
1K
0
适于互联网的SEDA高并发架构

适于互联网的SEDA高并发架构 相关文章: 并发计算模型BSP与SEDA SEDA: An Architecture for Highly Concurrent Server Applications...

z_jordon
2015/05/30
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Apache Spark 2.3 重要特性介绍

本文翻译自:https://databricks.com/blog/2018/02/28/introducing-apache-spark-2-3.html 为了继续实现 Spark 更快,更轻松,更智能的目标,Spark 2.3 在许多模块都做了重要的更新,比如 St...

hblt-j
7分钟前
1
0
Git基本操作

Git基本操作 git add . git commit git commit -m "updata" git log查看日志 git checkout xxx 切换分支到xxx 常用命令 版本库管理 创建版本库 # 初始化版本库mkdir learngit && cd learng...

lslaiwy
10分钟前
1
0
ubuntu 彻底删除 mysql 然后重装 mysql

ubuntu 彻底删除 mysql 然后重装 mysql 删除 mysql sudo apt-get autoremove --purge mysql-server-5.0 sudo apt-get remove mysql-server sudo apt-get autoremove mysql-server sudo apt-......

关上越
14分钟前
1
0
Fabric.js高级点的教程3--添加遮罩和裁剪的方法

写这篇文章的时候我就要说一下了,这个遮罩和裁剪耗费了我真的是九牛二虎之力 裁剪的插件很多,无论你用原生JS,JQuery, Vue还是React.总能找到一款裁剪插件。今天我要说的是自己写一个截图功...

xmqywx
16分钟前
1
0
springboot 初始化不设置数据源 由接口动态设置数据源(传入ip 端口 数据库名称 账号 密码)

程序无需重启可以加个过滤器支持未设置数据库无法调用将配置存到property文件,也可存到缓存设置时需要一个工具类判断传入的数据库是否可连接等import org.apache.commo...

林伟琨
22分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部