加载中
AirFlow-Install

AirFlow-Installation https://airflow.incubator.apache.org/installation.html Getting Airflow The easiest way to install the latest stable version of Airflow is with pip: pip inst...

Spark的配置参数

Spark启动时的配置参数可以通过环境变量、命令行参数和SparkConf编程在启动时配置。这里介绍其配置方法和参数(有点多,慢慢看)。

2016/03/17 17:09
3.4K
Spark 3.0 on Kubernetes 部署与使用指南

Spark 可以运行在 Kubernetes 管理的集群之上,该特性可以使用添加到Spark的原生的Kubernetes scheduler。该调度器目前还是体验状态,将来可能会发生变化,使用时需要注意。 相关参考: Spar...

Apache Spark 3.0 正式发布,重大功能概览

Apache Spark 3.0 增加了很多令人兴奋的新特性,包括动态分区修剪(Dynamic Partition Pruning)、自适应查询执行(Adaptive Query Execution)、加速器感知调度(Accelerator-aware Schedul...

开源大数据处理工具汇总(下)

开源大数据处理工具汇总(下),第二部分主要收集整理的内容主要有日志收集系统、消息系统、分布式服务、集群管理、RPC、基础设施、搜索引擎、Iaas和监控管理等大数据开源工具。

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部