加载中
关于Spark的基本概念和特性简介

Spark是近年来发展较快的分布式并行数据处理框架,可以与Hadoop联合使用,增强Hadoop的性能。同时,Spark还增加了内存缓存、流数据处理、图数据处理等更为高级的数据处理能力。这里简单介绍了...

Spark 1.2 发布,开源集群计算系统

Spark 1.2 发布,此版本包括 172 位贡献者和超过 1000 个 commits。 此版本包括 Spark 核心操作和性能改进; 添加新的网络传输子系统,进行了较大的改进; Spark SQL 引入了一个外部数据源的...

2015/01/20 20:43
42
JupyterHub on Kubernetes部署与应用指南

JupyterHub on Kubernetes部署与应用指南 1、简介 Jupyter Notebook是用于科学数据分析的利器,JupyterHub可以在服务器环境下为多个用户托管Jupyter运行环境,JupyterLab是一个新的数据分析U...

Istio 流量管理

Istio 流量管理 本文来自于:https://preliminary.istio.io/zh/docs/concepts/traffic-management/ 本页概述了 Istio 中流量管理的工作原理,包括流量管理原则的优点。本文假设你已经阅读了 ...

2018/08/26 10:46
50
Kubernetes存储系统介绍及机制实现

Kubernetes存储系统介绍及机制实现 【编者的话】本次分享分为三大部分。第一部分主要介绍Kubernetes中常用的几种存储,及其使用场景和生命周期等等。第二部分试图介绍一些设计原则和基本架构...

Istio 是什么?

Istio 是什么? 本文来自于:https://preliminary.istio.io/zh/docs/concepts/what-is-istio/ 使用云平台可以为组织提供丰富的好处。然而,不可否认的是,采用云可能会给 DevOps 团队带来压力...

Mesos在去哪儿网的应用

Mesos在Qunar DevOps团队内部的应用。 平台介绍 我们是在今年的5月份开始调研并尝试使用Mesos,第一个试点就是我们的日志平台,我们将日志分析全部托管在Mesos平台上。日志平台面向业务线开发...

2015/12/18 14:29
189
Singularity:基于Mesos的服务部署和作业调度平台

Singularity是一个在云基础设施中部署和运行服务和计划作业的平台,同时也是HubSpot PaaS的核心组件。它能够高效地管理底层进程的生命周期,并有效地利用集群资源。它可以作为持续部署基础设...

Mesos vs OpenStack,谁才是私有云的未来?

来自Mesosphere以及Rackspace的专家们从 OpenStack与Mesos的功能和产品定位上对这个问题进行了解读,它们之间的关系并非互相替代,而是各有侧重,相辅相成,这取决于用户的实际需 求。希望本...

2015/12/18 10:55
103
为什么私有云的定位应该是PaaS,而不是IaaS?

开发者再也不问你要服务器了。他们甚至不问你要一个LAMP套件(stack)。他们想要API。 — Mårten Mickos (@martenmickos)

Top Spark Ecosystem Projects(英)

Apache Spark has developed a rich ecosystem, including both official and third party tools. We have a look at 5 third party projects which complement Spark in 5 different ways. ...

2016/03/10 10:39
29
Spark+Docker的集群模式

Spark支持local、Standalone和Cluster三种并行运行模式【参考:Spark的三种运行模式快速入门】。 local,单机运行模式。 Standalone,Spark自己构建的独立集群。 Cluster,运行在Mesos/YARN/...

Jupyter Notebook Python, Scala, R, Spark, Mesos

在Docker中运行Jupyter/Spark/Mesos服务,支持Jupyter Notebook Python, Scala, R, Spark, Mesos Stack。

基于Python的分布式计算平台-DPark

DPark是一个基于Mesos的集群计算框架(cluster computing framework),是Spark的Python实现版本,类似于MapReduce,但是比其更灵活,可以用Python非常方便地进行分布式计算,并且提供了更多的...

Spark的三种运行模式快速入门

1、Spark本地运行模式 控制台: pyspark --master local[4] 打开浏览器,访问http://localhost:4040可查看运行状态。 缺省使用的Python环境是2.7,如果希望使用python3,可以设置环境变量 ...

2016/03/14 16:55
1K
Spark的Python编程-简单示例

Spark安装后,自带了一些demo, 路径在Spark根目录/examples/src/main/python/。这里是一个简单的介绍。

2016/03/02 07:56
3.1K
Kubernetes-2018干货盘点

毫无疑问,Kubernetes在2018年是个丰收年,不仅本身取得了重大的进步,也让使用它的人获益匪浅。 2018年,我跟随着Kubernetes社区,将其升级到了1.13.2版本,推动将GIS服务器第一次迁移到Kub...

Mesos框架对比:Marathon 和 Aurora

Marathon 和 Aurora 都能在 Mesos 集群上调度和运行常驻服务。本文比较了两个框架的不同和优劣。 问题 Marathon 框架和 Aurora 框架都能在 Mesos 集群上调度和运行常驻服务。我的问题是: 两...

Spark的配置参数

Spark启动时的配置参数可以通过环境变量、命令行参数和SparkConf编程在启动时配置。这里介绍其配置方法和参数(有点多,慢慢看)。

2016/03/17 17:09
832
云原生的定义和CNCF章程

云原生的定义 Pivotal 是云原生应用的提出者,并推出了 Pivotal Cloud Foundry 云原生应用平台和Spring开源Java开发框架,成为云原生应用架构中先驱者和探路者。 Pivotal最初的定义 早在201...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部