文档章节

Spark GraphX宝刀出鞘,图文并茂研习图计算秘笈与熟练的掌握Scala语言【大数据Spark

Spark亚太研究院
 Spark亚太研究院
发布于 2014/08/29 17:03
字数 1148
阅读 1605
收藏 4

Spark GraphX宝刀出鞘,图文并茂研习图计算秘笈

      大数据的概念与应用,正随着智能手机、平板电脑的快速流行而日渐普及,大数据中图的并行化处理一直是一个非常热门的话题。图计算正在被广泛地应用于社交网络、电子商务,地图等领域。对于图计算的两个核心问题:图存储模式和图计算模型,Spark GraphX给出了近乎完美的答案,

      而Spark GraphX作为图计算领域的屠龙宝刀,对Pregel  API的支持更是让Spark GraphX如虎添翼。Spark GraphX可以轻而易举的完成基于度分布的中枢节点发现、基于最大连通图的社区发现、基于三角形计数的关系衡量、基于随机游走的用户属性传播等。

      得益于Spark的RDD抽象,Spark GraphX可以无缝的与Spark SQL、MLLib等进行结合使用,例如我们可以使用Spark SQL进行数据的ETL之后交给Spark GraphX进行处理,而Spark GraphX在计算的时候又可以和MLLib结合使用来共同完成深度数据挖掘等人工智能化的操作,这些特性都是其它图计算平台所无法比拟的。

      在淘宝,Spark GraphX不仅广泛应用于用户网络的社区发现、用户影响力、能量传播、标签传播等,而且也越来越多的应用到推荐领域的标签推理、人群划分、年龄段预测、商品交易时序跳转等,据淘宝的明风介绍,借助于Spark GraphX,经过半年多的尝试,淘宝之前一些想做但因为没有足够的计算能力而不能实现的图模型,现已不是问题。

      从技术层面讲Spark GraphX非常适合于微信、微博、社交网络、电子商务、地图导航等类型的产品,所以可以期待Spark GraphX在Facebook、Twitter、Linkedin、腾讯、百度等的大规模应用。

      本书将通过大约30个动手实践的案例循序渐进的展示Spark GraphX框架方方面面的功能和使用方法,于此同时伴随Spark GraphX恰到要害的源码解析,内容紧致而干练,让阅读者无论是阅读还是动手实践都会深入宝山满载而归,是图计算爱好者和Spark学习不可错过的饕餮盛宴!

      作为《Spark GraphX大规模图计算和图挖掘》的第一版本,每周作者都会对书的内容更新和完善,每周都要发布一次书的完整的新的版本,以期Spark GraphX这把图计算领域的屠龙刀能够更好的造福社会。

     地址连接:http://book.51cto.com/art/201408/449872.htm 

 

熟练的掌握Scala语言【大数据Spark实战高手之路】

内容介绍 1、Spark框架是采用Scala语言编写的,精致而优雅。要想成为Spark高手,你就必须阅读Spark的源代码,就必须掌握Scala,; 2、虽然说现在的Spark可以采用多语言Java、Python等进行应用程序开发,但是最快速的和支持最好的开发API依然并将永远是Scala方式的API,所以你必须掌握Scala来编写复杂的和高性能的Spark分布式程序; 3、尤其要熟练掌握Scala的trait、apply、函数式编程、泛型、逆变与协变、消息通信框架Akka等。

大数据spark实战高手之路--熟练掌握Scala视频课程 6折优惠 Spark亚太研究院联合51CTO 重磅推出国内第一个 Spark系列课程 。

第一阶段课程为熟练掌握Scala语言。

课程1:Scala动手实战入门

课程2:Scala实战入门进阶

课程3:Scala面向对象入门实战

课程4:Scala面向对象进阶实战

课程5:Scala函数式编程入门实战

课程6:Scala函数式编程进阶实战

课程7:Scala高级实战特性

课程8:Scala的Actor

课程9:深入Scala隐式转换和隐式参数

课程10:Akka架构解析与案例实战

现在购买,享受6折优惠!

链接地址:http://edu.51cto.com/pack/view/id-124.html

 

© 著作权归作者所有

Spark亚太研究院
粉丝 75
博文 73
码字总数 35236
作品 0
朝阳
技术主管
私信 提问
上海大数据实战开发转型—程序员未来的筹码

活动将长期(每周六)举行,报名后我们会第一时间与您联系 活动流程 13:30 签到 14:00 老师分享 16:00 互动交流 16:30 活动结束 (Hadoop) (含项目实战) NoSQL专题(含HBase) Hadoop企业项...

简直是天才
2018/05/15
20
0
如何成为云计算大数据Spark高手

Spark采用一个统一的技术堆栈解决了云计算大数据的如流处理、图技术、机器学习、NoSQL查询等方面的所有核心问题,具有完善的生态系统,这直接奠定了其一统云计算大数据领域的霸主地位; 要想...

Spark亚太研究院
2014/06/13
2.1K
3
Spark 数据分析导论-笔记

Spark Core Spark Core 实现了Spark 的基本功能,包含任务调度、内存管理、错误恢复、与存储系统交互等模块。 Spark Core 中还包含了 对弹性分布式数据集(resilient distributed dataset,简...

Java搬砖工程师
2018/12/26
47
0
上海大数据实战开发转型—程序员未来的筹码

活动将长期(每周六)举行,报名后我们会第一时间与您联系 活动流程 13:30 签到 14:00 老师分享 16:00 互动交流 16:30 活动结束 (Hadoop) (含项目实战) NoSQL专题(含HBase) Hadoop企业项...

简直是天才
2018/05/15
86
0
[Kafka与Spark集成系列一] Spark入门

版权声明:本文为博主原创文章,未经博主朱小厮允许不得转载。 https://blog.csdn.net/u013256816/article/details/82081946 Spark是一个用来是实现快速而通用的集群计算的平台。Spark是UC ...

朱小厮
2018/08/26
0
0

没有更多内容

加载失败,请刷新页面

加载更多

CSS3

一.复杂选择器 1.兄弟选择器 具备相同父级元素的平级元素之间称为兄弟元素 注意:兄弟选择器,只能往后,不能往前找 (1).相邻兄弟选择器,获取紧紧挨着某元素后面的兄弟元素 选择器1+选择器2...

wytao1995
14分钟前
3
0
Jmeter录制

1. 加HTTP(s) Test Script Recorder 2. 在 recorder下面加reocrding controller 3. 在HTTP(s) Test Script Recorder中设置下面几项 4. browser设置proxy, 注意端口要和step3中jmeter中的一致......

Rebecca_Hu
18分钟前
3
0
DIV+CSS忽悠前端小白

在大约两年前,DIV+CSS是一对很诱人的组合,会用DIV+CSS制作网页的人,常常会被人赞以大拇指的,记得06年初的时候,我用 div+css布局的一个纯静态网站还拿了学校网页设计比赛的一个奖。 今天...

前端老手
22分钟前
3
0
Win10子系统 linux(Ubuntu18.04) 安装Docker

1)原文件备份 sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak 2)编辑源列表文件 sudo vim /etc/apt/sources.list 3)将原来的列表删除,添加如下内容(中科大镜像源) deb http...

jxldjsn
24分钟前
3
0
Ubuntu16.04安装Qt5.12.2

Ubuntu16.04安装Qt5.12.2 第一步:下载文件 https://download.qt.io/official_releases/qt/5.12/5.12.2/ 第二步:安装依赖库 sudo apt-get install build-essential sudo apt-get install li......

shzwork
29分钟前
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部