在开发中经常遇到字符串、xml、json、dict对象的相互转换，这个工具和这里的方法全部都能够搞定。

OSM是OpenStreetMap的开源数据格式，采用xml存储。这里将其转为json后可以加载到Spark/Hadoop等系统中进一步处理，也可以直接转入GIS软件中使用。 提取OpenStreetMap的osm文件(xml格式)，转为...

Spark启动时的配置参数可以通过环境变量、命令行参数和SparkConf编程在启动时配置。这里介绍其配置方法和参数（有点多，慢慢看）。

1、Spark本地运行模式 控制台： pyspark --master local[4] 打开浏览器，访问http://localhost:4040可查看运行状态。 缺省使用的Python环境是2.7，如果希望使用python3，可以设置环境变量 ...

注意： 此文的方法已经过时，最新的IPython已经拆分为多个工程，并且原版本已经不再升级。 最新的notebook功能移到了Jupyter项目中，而Jupyter项目成为Anaconda的子项目，使用conda进行包管理...

基于Spark通用计算平台，可以很好地扩展各种计算类型的应用，尤其是Spark提供了内建的计算库支持，像Spark Streaming、Spark SQL、MLlib、GraphX，这些内建库都提供了高级抽象，可以用非常简...

Apache Spark has developed a rich ecosystem, including both official and third party tools. We have a look at 5 third party projects which complement Spark in 5 different ways. ...

An overview of Spark's new GraphFrames, a graph processing library based on DataFrames, built in a collaboration between Databricks, UC Berkeley's AMPLab, and MIT....

The Spark Python API (PySpark) exposes the Spark programming model to Python. To learn the basics of Spark, we recommend reading through theScala programming guide first; it sho...

在过去，Spark UI一直是用户应用程序调试的帮手。而在最新版本的Spark 1.4中，我们很高兴地宣布，一个新的因素被注入到Spark UI——数据可视化。在此版本中，可视化带来的提升主要包括三个部...

spark应用程序结构 Spark应用程序可分两部分：driver部分和executor部分初始化SparkContext和主体程序。 A：driver部分 driver部分主要是对SparkContext进行配置、初始化以及关闭。初始化Spa...

Spark提供了Python脚本编程接口，这里简单介绍其使用。

DPark是一个基于Mesos的集群计算框架(cluster computing framework)，是Spark的Python实现版本，类似于MapReduce，但是比其更灵活，可以用Python非常方便地进行分布式计算，并且提供了更多的...