文档章节

论文阅读 - Optimizing Graph Algorithms on Pregel-like

wdfnst
 wdfnst
发布于 2016/05/15 08:55
字数 245
阅读 4
收藏 0
点赞 2
评论 0
  • Highlight, page 1
    Standard graph algorithms in this setting can incur unnecessary in- efficiencies such as slow convergence or high communication or computation cost

  • Highlight, page 1
    Standard graph algorithms in this setting can incur unnecessary in- efficiencies such as slow convergence or high communication or computation cost

  • Highlight, page 1
    large diameters or skew in component sizes.

  • Highlight, page 1
    performing some serial computation on a tiny fraction of the in- put graph

  • Underline, page 1
    complementing

  • Highlight, page 1
    our open-source Pregel implementation

  • Highlight, page 2
    FCS monitors the size of the “active” graph on which the computation is executing. If the active graph becomes small enough, FCS sends it to the master, which performs the end of the computation serially inside master.compute(), then sends the results back to the workers.

  • Highlight, page 2
    sets of vertices (called subvertices) are merged to form supervertices.

  • Highlight, page 6
    FCS monitors the size the active- subgraph. Once the size of the active-subgraph is below a threshold (5M edges by default), it sends the active-subgraph to the mas- ter, which performs the rest of the computation serially, and sends the results back to the workers.

  • Highlight, page 8
    Our SEAS optimiza- tion instead stores the edges of a supervertex s in a distributed fash- ion among all of its subvertices.

  • Highlight, page 8
    In our implementation of SEAS, subvertices store a pointer to their latest supervertices.

© 著作权归作者所有

共有 人打赏支持
wdfnst
粉丝 2
博文 27
码字总数 22859
作品 1
宁波
Spark GraphX Pregel API: An Example

GraphX Pregel API Graph data and graph processing is getting more and more attention lately in various fields. It has become apparent that a large number of real world problems ......

openthings
2016/09/02
98
1
Spark GraphX 编程指南

GraphX编程指南 (根据原文编辑:http://udn.yyuap.com/doc/spark-programming-guide-zh-cn/graphx-programming-guide/index.html) GraphX是一个新的(alpha)Spark API,它用于图和并行图(gr......

openthings
2016/08/29
50
0
GraphX Programming Guide

GraphX Overview GraphX is a new component in Spark for graphs and graph-parallel computation. At a high level, GraphX extends the Spark RDD by introducing a new Graph abstractio......

openthings
2016/08/29
10
0
Ravel计划开源图形数据库

Ravel,美国数据分析公司,希望提供一个受支持的Google Pregel 软件的开源版本,叫做GoldenOrb,来处理高伸缩性图形分析。 该公司将在本月31日发布GoldenOrb代码,并解释数据库如何帮助进行基...

老枪
2011/03/29
1K
1
100 open source Big Data architecture papers

Big Data technology has been extremely disruptive with open source playing a dominant role in shaping its evolution. While on one hand it has been disruptive, on the other it ha......

naughty
2016/04/05
55
0
Pregel:基于图分割的图结构数据并行处理

Pregel设计在google的计算机集群结构之上。一个计算机集群(cluster)就是通用PC按rack(一组PC机)构成,Rack之间具有较高的数据传输速度。集群中通常包含一个域名服务器(namenode),采用...

jhonephone
2014/01/17
0
0
Spark GraphX 快速入门

Spark GraphX 快速入门 (基于原文:http://blog.csdn.net/mach_learn/article/details/46501351 编辑) 概述 GraphX是Spark的一个新组件用于图和并行图计算。GraphX通过引进一个新的图抽象扩...

openthings
2016/08/29
133
0
『Big data technologies』关于各类大数据技术概念的简介(翻译自Quora)

原文 I'll try to give a very crude overview of how the pieces fit in together, because the details span multiple books. Please forgive me for some oversimplifications. MapReduce......

灰大羊
2016/07/18
8
0
进化计算在深度学习中的应用 | 附多篇论文解读

基于遗传规划的自动机器学习 自动机器学习(Automated/Automatic Machine Learning, AutoML)作为近年来逐渐兴起的热门研究领域,旨在降低机器学习的门槛,使其更加易用。 一般而言,一个完整...

技术小能手
05/30
0
0
每周论文清单:知识图谱,文本匹配,图像翻译,视频对象分割

在碎片化阅读充斥眼球的时代,越来越少的人会去关注每篇论文背后的探索和思考。 在这个栏目里,你会快速 get 每篇精选论文的亮点和痛点,时刻紧跟 AI 前沿成果。 点击本文底部的「阅读原文」...

c9yv2cf9i06k2a9e
2017/12/27
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

idea tomcat 远程调试

tomcat 配置 编辑文件${tomcat_home}/bin/catalina.sh,在文件开头添加如下代码。    CATALINA_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=7829" Idea端配......

qwfys
今天
1
0
遍历目录下的文件每250M打包一个文件

#!/usr/bin/env python # -*- utf-8 -*- # @Time : 2018/7/20 0020 下午 10:16 # @Author : 陈元 # @Email : abcmeabc@163.com # @file : tarFile.py import os import tarfile import thr......

寻爱的小草
今天
1
0
expect同步文件&expect指定host和要同步的文件&构建文件分发系统&批量远程执行命令

20.31 expect脚本同步文件 expect通过与rsync结合,可以在一台机器上把文件自动同步到多台机器上 编写脚本 [root@linux-5 ~]# cd /usr/local/sbin[root@linux-5 sbin]# vim 4.expect#!/...

影夜Linux
今天
1
0
SpringBoot | 第九章:Mybatis-plus的集成和使用

前言 本章节开始介绍数据访问方面的相关知识点。对于后端开发者而言,和数据库打交道是每天都在进行的,所以一个好用的ORM框架是很有必要的。目前,绝大部分公司都选择MyBatis框架作为底层数...

oKong
今天
13
0
win10 上安装解压版mysql

1.效果 2. 下载MySQL 压缩版 下载地址: https://downloads.mysql.com/archives/community/ 3. 配置 3.1 将下载的文件解压到合适的位置 我最终将myql文件 放在:D:\develop\mysql 最终放的位...

Lucky_Me
今天
2
0
linux服务器修改mtu值优化cpu

一、jumbo frames 相关 1、什么是jumbo frames Jumbo frames 是指比标准Ethernet Frames长的frame,即比1518/1522 bit大的frames,Jumbo frame的大小是每个设备厂商规定的,不属于IEEE标准;...

问题终结者
今天
2
0
expect脚本同步文件expect脚本指定host和要同步的文件 构建文件分发系统批量远程执行命令

expect脚本同步文件 在一台机器上把文件同步到多台机器上 自动同步文件 vim 4.expect [root@yong-01 sbin]# vim 4.expect#!/usr/bin/expectset passwd "20655739"spawn rsync -av ro...

lyy549745
今天
1
0
36.rsync下 日志 screen

10.32/10.33 rsync通过服务同步 10.34 linux系统日志 10.35 screen工具 10.32/10.33 rsync通过服务同步: rsync还可以通过服务的方式同步。那需要开启一个服务,他的架构是cs架构,客户端服务...

王鑫linux
今天
1
0
matplotlib 保存图片时的参数

简单绘图 import matplotlib.pyplot as pltplt.plot(range(10)) 保存为csv格式,放大后依然很清晰 plt.savefig('t1.svg') 普通保存放大后会有点模糊文件大小20多k plt.savefig('t5.p...

阿豪boy
今天
3
0
java 8 复合Lambda 表达式

comparator 比较器复合 //排序Comparator.comparing(Apple::getWeight);List<Apple> list = Stream.of(new Apple(1, "a"), new Apple(2, "b"), new Apple(3, "c")) .collect(......

Canaan_
昨天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部