文档章节

Spark for Spatial,相关资源

openthings
 openthings
发布于 2015/12/24 09:29
字数 656
阅读 1292
收藏 3

        时空大数据分析正越来越热门,而R之类的分析工具只能制作简单的地图。把GIS纳入大数据技术体系,并且将GIS的算法、模型、可视化等能力与Hadoop/Spark等大规模分布式计算体系结合起来,将逐步成为研究的前沿。这里收集了SpatialHadoop/GeoSpark/PCL/OpenSLAM等几个前沿的开源项目资源,可以从中学习,有能力的可以参与其中,真正去开展前沿技术的研究。

1、SpatialHadoop

SpatialHadoop是基于Hadoop开发的一套空间算子解决方案,由University of Minnesota发起,可以利用Hadoop的HDFS分布式虚拟文件系统和MapReduce分布式处理框架,进行空间数据的处理。项目主页可以下载代码和数据、以及预建的虚拟机。目前只能处理csv格式的简单几何对象。

项目主页:http://spatialhadoop.cs.umn.edu/

源代码库:https://github.com/aseldawy/spatialhadoop2

2、SpatialSpark

SpatialSpark是基于Spark的空间对象处理框架。

项目主页:http://simin.me/projects/spatialspark/

项目源码:https://github.com/syoummer/SpatialSpark

3、GeoSpark

GeoSpark是基于Spark的空间对象处理框架,支持RDD,目前仍处于比较早期的阶段。

https://github.com/Sarwat/GeoSpark

http://www.public.asu.edu/~jiayu2/geospark/javadoc/index.html

4、GeoWave

GeoWave,桥接传统数据库、Apache Accumulo分布式存储与Spark。

https://github.com/ngageoint?page=3可以看到NGA托管的大量项目。

项目主页:https://www.locationtech.org/proposals/geowave

5、OpenSLAM

SLAM (simultaneous localization and mapping)技术用于自动测量、制图,在机器人等领域有重要的应用。

项目主页:http://www.openslam.org/

6、点云支持库(PCL)

点云是激光雷达、摄像头、深度感知系统等产生的原始阵列状数据,在人工智能、机器人、工业自动化等领域都有广泛的应用。点云含有深度信息、可以和影像、多波段感知数据等融合进行分析。

PCL是一个开源的点云库,有很多大型IT企业参与。

项目主页:http://www.pointclouds.org/

项目源码:https://github.com/PointCloudLibrary



© 著作权归作者所有

openthings

openthings

粉丝 328
博文 1152
码字总数 698437
作品 1
东城
架构师
私信 提问
Apache Spark 3.0 将内置支持 GPU 调度

如今大数据和机器学习已经有了很大的结合,在机器学习里面,因为计算迭代的时间可能会很长,开发人员一般会选择使用 GPU、FPGA 或 TPU 来加速计算。在 Apache Hadoop 3.1 版本里面已经开始内...

Spark
03/10
0
0
SPARK 源码分析技术分享(带bilibili视频)

SPARK 源码分析技术分享 (带bilibili视频) 【本站点正在持续更新中…2018-12-05…】 SPARK 1.6.0-cdh5.15.0 Hadoop 2.6.0-cdh5.15.0 spark-scala-maven 微信(技术交流) : thinktothings SPA...

thinktothings
2018/12/02
0
0
如何在万亿级别规模的数据量上使用Spark?

  【IT168 技术】   一、前言   Spark作为大数据计算引擎,凭借其快速、稳定、简易等特点,快速的占领了大数据计算的领域。本文主要为作者在搭建使用计算平台的过程中,对于Spark的理解...

网络大数据
2018/05/30
0
0
如何在万亿级别规模的数据量上使用Spark

一、前言 Spark作为大数据计算引擎,凭借其快速、稳定、简易等特点,快速的占领了大数据计算的领域。本文主要为作者在搭建使用计算平台的过程中,对于Spark的理解,希望能给读者一些学习的思...

风火数据
2018/05/14
0
0
[Kafka与Spark集成系列一] Spark入门

版权声明:本文为博主原创文章,未经博主朱小厮允许不得转载。 https://blog.csdn.net/u013256816/article/details/82081946 Spark是一个用来是实现快速而通用的集群计算的平台。Spark是UC ...

朱小厮
2018/08/26
0
0

没有更多内容

加载失败,请刷新页面

加载更多

用VideoView播放视频出现Can't play this video原因

见鬼了,两个工程一个能播放,一个不能播放,代码都一样,最后发现 android:usesCleartextTraffic="true" 增加这句话就可以播放了

Domineering
28分钟前
3
0
Linux JDK 安装与配置

一、下载 JDK 官网链接:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 系统是 CentOS 7 X64的,进入系统选择相应的安装包下载,这里下载压缩包。...

HuaiAnGG
30分钟前
1
0
面试复盘

shared_ptr 和 weak_ptr 的区别. 一个有向图有几个圈, 计数。 A,B 胜的概率分别为 1/2, 1/2; A胜两局赢,B胜3局赢, 最少几局可定胜负, A 胜的概率,B胜的概率. 他们采用的是时序ARMA 图论...

MtrS
31分钟前
3
0
什么样的人要学点python编程?请你对号入座

什么样的人需要学点python编程? 时代越来越不一样了,编程这种专业程序员的工作,已经开始应用于各种其他日常工作中,就以前象征着互联网的电脑,现在早已进入普通人家。 那么什么样的人需要...

这人就爱编程
43分钟前
4
0
哪吒之魔童降世的背景音乐怎么提取 视频中提取音频的方法

随着国漫的不断崛起一大批优质的动漫正向我们袭来,从大鱼海棠到大圣归来再到我们现在的哪吒让我们看到国漫质的飞跃,也让我们对国漫充满信心,前段时间哪吒之魔童降世以国产第二的票房下线到...

cenfeng123
47分钟前
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部