文档章节

spark资料

vieky
 vieky
发布于 2014/11/21 10:06
字数 271
阅读 204
收藏 0

(一)spark 相关安装部署、开发环境 1、大数据利器:Spark的单机部署与测试笔记

http://bbs.chinahadoop.cn/article-4057-1.html

2、Spark 0.9.1 Standalone模式分布式部署

http://chinasparker.sinaapp.com/?p=67

https://spark.apache.org/docs/latest/spark-standalone.html#installing-spark-standalone-to-a-cluster

3、Spark实战:单节点本地模式搭建Spark运行环境

http://www.cstor.cn/textdetail_7500.html

4、Spark 1.0.0 横空出世 Spark on Yarn 部署(Hadoop 2.4)

http://blog.csdn.net/tntzbzc/article/details/27817189

5、Apache Spark探秘:三种分布式部署方式比较

http://dongxicheng.org/framework-on-yarn/apache-spark-comparing-three-deploying-ways/

(二)spark 原理与编码 1、理解Spark的核心RDD

http://www.infoq.com/cn/articles/spark-core-rdd

2、How-to: Translate from MapReduce to Apache Spark(怎样从 MapReduce 迁移到 Spark)

http://blog.cloudera.com/blog/2014/09/how-to-translate-from-mapreduce-to-apache-spark/

3、Spark SQL 源码分析之 In-Memory Columnar Storage 之 cache table

http://blog.csdn.net/oopsoom/article/details/39525483

(三)spark 监控与管理 1、Common Spark Troubleshooting

http://www.datastax.com/dev/blog/common-spark-troubleshooting

2、

(四)YARN & spark 1、Apache Spark探秘:多进程模型还是多线程模型?

http://dongxicheng.org/framework-on-yarn/apache-spark-multi-threads-model/

(五)spark 数据平台架构

(六)spark 应用与实践 1、How-to: Do Near-Real Time Sessionization with Spark Streaming and Apache Hadoop

http://blog.cloudera.com/blog/2014/11/how-to-do-near-real-time-sessionization-with-spark-streaming-and-apache-hadoop/

2、

本文转载自:http://my.oschina.net/leejun2005/blog/311486#OSC_h1_1

共有 人打赏支持
vieky
粉丝 12
博文 55
码字总数 47106
作品 0
长沙
高级程序员
私信 提问
加载中

评论(1)

0000001
0000001
大数据时代,加油
18小时内掌握Spark,全面提升Spark技能!

伴随着大数据相关技术和产业的逐步成熟,继Hadoop之后,Spark技术以其无可比拟的优势,发展迅速,将成为替代Hadoop的下一代云计算、大数据核心技术。   Spark是基于内存,是云计算领域的继...

Spark亚太研究院
2014/06/12
62
0
hadoop和spark的区别介绍

学习hadoop已经有很长一段时间了,好像是二三月份的时候朋友给了一个国产Hadoop发行版下载地址,因为还是在学习阶段就下载了一个三节点的学习版玩一下。在研究、学习hadoop的朋友可以去找一下...

adnb34g
06/22
0
0
Spark成为大数据高手进阶步骤

什么是Spark Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于MapRedu...

MoksMo
2015/11/05
0
1
Apache Spark 2.0 最快今年4月亮相

1月才刚释出1.6版的大数据技术Spark,下一个2.0版本预计4、5月释出,将提供可运行在SQL/Dataframe上的结构化串流即时引擎,并统一化Dataset及DataFrame 大数据技术Spark今年1月才刚释出1.6版...

oschina
2016/02/29
3K
16
Hive on Spark下无法处理Parquet表

我在使用Hive on Spark时,在搭建过程中不段踩坑,网上资料也有,但都是千篇一律,点到为止,欲言又止,明明在说却又故意不说清楚的那种,看着让人很蛋疼. 过程是这样的,我在Spark的官网查到,要使用...

咸鱼也有梦想
2017/01/09
294
0

没有更多内容

加载失败,请刷新页面

加载更多

SpringBoot整合Mybatis扫描不到Mapper的问题

参考资料 1、SpringBoot整合Mybatis扫描不到Mapper的问题

哎小艾
6分钟前
0
0
网络相关.md

https://github.com/acBool/Blogs/blob/master/%E7%BD%91%E7%BB%9C%E7%9B%B8%E5%85%B3/%E7%BD%91%E7%BB%9C%E7%9B%B8%E5%85%B3.md URL URL: 全称Uniform Resource Location,统一资源定位符,......

壹峰
6分钟前
0
0
Ubuntu虚拟机无法连接到网络

查看本机中控制面板---管理工具---服务 找到服务(本地) 确保 VMware DHCP Service 和VMware NAT Service 服务已经启动 查看Ubuntu的ip地址 显示ip则连接成功...

唐十三郎
12分钟前
0
0
MyEclipse开发教程:REST Web Service(二)

MyEclipse 在线订购年终抄底促销!火爆开抢>> MyEclipse最新版下载 使用MyEclipse开发RESTWeb服务来放大您的Web应用程序。在本教程示例中,您将创建一个简单的Web服务来维护客户列表。你将学...

电池盒
13分钟前
0
0
线程sleep和yield的区别

1.sleep()方法暂停当前线程后,会给其他线程执行机会,线程优先级对此没有影响。yield()方法会给优先级相同或更高的线程更高的执行机会。 2.sleep()方法会将线程转入阻塞状态,直到阻塞时间结...

勇敢的飞石
13分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部