加载中
Spark的源码编译

Spark是一个快速发展的用于大量数据处理的分布式系统,这里介绍其源码编译方法。英文好的直接看Spark的版本下载和源码编译方法的官方地址:http://spark.apache.org/downloads.html,最新的信...

2015/12/17 10:08
141
Hadoop 2.7.1的源码编译

Compile Hadoop from Source Compile Hadoop 2.x help you fix error Unable to load native-hadoop library Install Requirements Java Oracle: otherwise, while maven build you may be o...

NiFi-面向流程的大数据处理框架

任何一个大数据分析的软件,都需要一个强大的数据拉取组件、数据仓储系统、数据处理引擎、任务调度引擎和流程设计界面。Hadoop和Spark的重点是在数据的存储和任务调度,R的重点是数据分析引擎...

Spark源码编译和问题的解决

对源码进行编译虽然有点自虐,但可以帮助自己更好地了解其中的细节,为以后的深入和解决配置问题打下基础,否则遇到问题可能会束手无策。这里介绍Spark的编译过程[来自于:http://www.iteb...

2015/12/17 09:06
563
hadoop2.7环境的编译安装

海外找回来的的资料,珍惜吧!BD TMD的搜不到,搜到的很多细节漏掉了,总是出错,而且版本很旧,都是1.X的。这里介绍的是目前最新的Hadoop版本2.7.1,但因为还在开发中,应该还不是很稳定,需...

配置sonar、jenkins进行持续集成和代码审查

本文以CentOS操作系统为例介绍Sonar的安装配置,以及如何与Jenkins进行集成,通过pmd-cpd、checkstyle、findbugs等工具对代码进行持续审查。 一、安装配置sonar 1、Sonar介绍 Sonar是一个用于...

iObjects for Spark-时空大数据分析引擎

Apache Spark是功能强大的分布式并行计算平台。iObject for Spark是全球首个面向Spark的时空大数据分析引擎,通过将专业GIS组件引入Spark环境中运行,极大扩充了Spark的能力,使其具备了专业...

Spark运行环境的安装

Spark功能还是蛮强的,安装的东西可是不少,好在搞完一次就可以一直用(除非用不上)。这里介绍安装需要的软件和步骤。不同机器可能还有些设置不一样的,需要自己去摸索,毕竟这个是开源软件...

2015/06/25 13:47
881
R语言的包管理功能

现代的开发语言都已经不再是单一的编程语言和编译环境,而是一个网络化的分布式系统。通过包(packages)管理程序进行软件模块的安装、卸载、更新等操作。R语言的包管理更为先进,是本身语言...

2015/07/02 09:26
968
Docker镜像仓库服务-Nexus

运维云原生集群系统,建立自己的私有Docker镜像仓库必不可少。一方面可以加快多节点部署容器镜像的下载速度,另一方面是为了安全(容器里存储有系统所有的信息、包括密码、数据库等等,切记不...

2018/12/15 18:39
123
Kubernetes持续交付-Jenkins X的Helm部署

Kubernetes持续交付-Jenkins X的Helm部署 本文翻译根据 https://github.com/jenkins-x/jenkins-x-platform 在Kubernetes上创建CI/CD流水线,https://my.oschina.net/u/2306127/blog/1819650...

Kafka+Spark Streaming+Redis实时计算整合实践

基于Spark通用计算平台,可以很好地扩展各种计算类型的应用,尤其是Spark提供了内建的计算库支持,像Spark Streaming、Spark SQL、MLlib、GraphX,这些内建库都提供了高级抽象,可以用非常简...

2016/03/11 16:00
512
Gogs+Jenkins的持续集成系统部署与开发

gogs是一款用go语言开发的语言,开始的时候觉得可能有点难,但是现在用起来觉得挺不错的,既有c语言的方便简洁,又有许多集成的类和方法。 网址的话是这个http://gogs.io/ 我的话是用源码安装...

iObjects for Spark- Docker安装攻略

iObjects for Spark时空大数据分析引擎可以帮助使用者进行高效的时空大数据分析,它既可以作为Apache Spark项目在时空数据领域的扩展模块,为软件开发人员服务,也可以作为一个开箱即用的时空...

Spark编程指南《Spark 官方文档》

Spark编程指南《Spark 官方文档》,中文翻译,后面包含一些深度使用的方法。

Spark Streaming 编程指南[中]

Spark Streaming是一个分布式架构的流式数据处理框架。得益于庞大的Hadoop/Spark生态体系,利用RDD的内存迭代计算引入Streaming处理能力,是Spark的一个重要的模块。本Spark Streaming 编程指...

Spark Streaming 编程指南[中英对照]

Spark Streaming是一个分布式架构的流式数据处理框架。得益于庞大的Hadoop/Spark生态体系,利用RDD的内存迭代计算引入Streaming处理能力,是Spark的一个重要的模块。本Spark Streaming 编程指...

Istio Service Mesh 教程

Istio Service Mesh 教程 作者 宋净超 | 5400字 | 阅读大约需要11分钟 | 归档于istio | 发表于 2018-05-22 标签 #Istio #教程,来自 https://servicemesher.github.io/blog/istio-service-m...

2018/06/19 09:01
102
Kubernetes-2018干货盘点

毫无疑问,Kubernetes在2018年是个丰收年,不仅本身取得了重大的进步,也让使用它的人获益匪浅。 2018年,我跟随着Kubernetes社区,将其升级到了1.13.2版本,推动将GIS服务器第一次迁移到Kub...

Spark编程指南—Python版

使用Python在Spark上进行数据分析的教程,翻译自Spark(spark.apache.org)的官方文档。

没有更多内容

加载失败,请刷新页面

返回顶部
顶部