文档章节

spark笔记

soueer
 soueer
发布于 2016/02/14 19:05
字数 580
阅读 7
收藏 0
./bin/spark-shell --master local[2]

./bin/pyspark --master local[2]

The --master option specifies the master URL for a distributed cluster, or local to run locally with one thread, or local[N] to run locally with N threads. 

Spark also supports pulling data sets into a cluster-wide in-memory cache. 

bin/spark-submit --master local[4] test.py

cat test.py

from pyspark import SparkContext

logFile = "/home/q/spark/spark-1.3.1-bin-hadoop2.6/README.md"  # Should be some file on your system
sc = SparkContext("local", "Simple App")
logData = sc.textFile(logFile).cache()

numAs = logData.filter(lambda s: 'a' in s).count()
numBs = logData.filter(lambda s: 'b' in s).count()

print("Lines with a: %i, lines with b: %i" % (numAs, numBs))


Spark programming

The main abstraction Spark provides is a resilient distributed dataset (RDD), which is a collection of elements partitioned across the nodes of the cluster that can be operated on in parallel.

A second abstraction in Spark is shared variables that can be used in parallel operations. (broadcast variables and accumulators)

Only one SparkContext may be active per JVM. You must stop() the active SparkContext before creating a new one.
In the Spark shell, a special interpreter-aware SparkContext (sc) is already created for you.

There are two ways to create RDDs: parallelizing an existing collection in your driver program, or referencing a dataset in an external storage system.

val distData = sc.parallelize(data)
The elements of the collection are copied to form a distributed dataset that can be operated on in parallel.
One important parameter for parallel collections is the number of partitions to cut the dataset into. 

textFile RDDS
If using a path on the local filesystem, the file must also be accessible at the same path on worker nodes. 
All of Spark’s file-based input methods, including textFile, support running on directories, compressed files, and wildcards as well.
The textFile method also takes an optional second argument for controlling the number of partitions of the file.

RDD Operations
RDDs support two types of operations: transformations, which create a new dataset from an existing one, and actions, which return a value to the driver program after running a computation on the dataset.

Accumulators in Spark are used specifically to provide a mechanism for safely updating a variable when execution is split up across worker nodes in a cluster.

collect() fetches the entire RDD to a single machine.
take() only show a few elements of the RDD.


The shuffle is Spark’s mechanism for re-distributing data so that it’s grouped differently across partitions.

In Spark, data is generally not distributed across partitions to be in the necessary place for a specific operation. During computations, a single task will operate on a single partition - thus, to organize all the data for a single reduceByKey reduce task to execute, Spark needs to perform an all-to-all operation. It must read from all partitions to find all the values for all keys, and then bring together values across partitions to compute the final result for each key - this is called the shuffle.

The cache() method is a shorthand for using the default storage level, which is StorageLevel.MEMORY_ONLY.


Program execution procedure
1.SparkContext connect to the cluster managers(which allocate resources across applications).
2.Spark acquires executors on nodes in the cluster(executor是负责处理应用程序的计算和存储相关的数据)
3.发送application code至executors
4.发送tasks至executors去执行

© 著作权归作者所有

soueer
粉丝 0
博文 12
码字总数 2499
作品 0
昌平
私信 提问

暂无文章

CLEARTEXT communication to xxx not permitted by network security policy

Android P http网络请求不通,报出异常:java.net.UnknownServiceException: CLEARTEXT communication to xxxx not permitted by network security policy Google表示,为保证用户数据和设备......

醉雨
23分钟前
1
0
开发函数计算的正确姿势 —— 移植 next.js 服务端渲染框架

首先介绍下在本文出现的几个比较重要的概念: 函数计算(Function Compute): 函数计算是一个事件驱动的服务,通过函数计算,用户无需管理服务器等运行情况,只需编写代码并上传。函数计算准...

阿里云云栖社区
今天
1
0
Windows获取其他进程中Edit控件的内容

最近做的MFC项目中,有个获取其他进程中Edit控件内容的需求,本来以为是个很简单的问题,但是来来回回折腾了不少时间,发博记录一下。   刚开始拿到这个问题,很自然的就想到GetDlgItemTex...

WinkJie
今天
1
0
Mysql数据库基于流量审计mysql-sniffer部署

Base Enviroment:CentOS release 6.5 +10.1.40-MariaDB MariaDB Server 安装完后,经过Navicat客户端工具,java web项目,linux操作系统myql客户端,三个维度(客户端)的实测。 实测结果是:...

硅谷课堂
今天
1
0
Visual Paradigm 教程[UML]:如何在SoaML中建模多方服务?(下)

下载Visual Paradigm最新试用版 第三部分 - 用UML序列图指定多方编排 在多服务合同中,可以在交互图中显示各方之间的通信和编排。像UML序列图这样的交互图显示了谁调用谁以及何时进行调用。让...

xiaochuachua
今天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部