加载中
Spark Core解析 2:Scheduler 调度体系

Spark Core解析 2:Scheduler 调度体系 Overview 调度系统,是贯穿整个Spark应用的主心骨,从调度系统开始入手了解Spark Core,比较容易理清头绪。 Spark的资源调度采用的是常见的两层调度,...

2019/12/12 23:42
126
Scala并发编程实战 - 2:Lock 锁

synchronized作为内置锁,使用简单,不易出错,然鹅确有相当的局限性,例如,无法从等待获取锁的阻塞中中断,无法设置获取锁的超时。 所以JUC提供了另一种更灵活的加锁方式,即Lock。 Lock L...

2019/11/16 14:29
277
Scala并发编程实战:Monitor与synchronized

Java并发编程最常用和易用的技术莫过于synchronized关键字,而Scala的并发编程之旅也可以从synchronized开始。而synchronized的背后其实是monitor技术。 什么是Monitor Monitor是解决并发编程...

2019/11/11 16:53
752
Spark Core 解析:RDD

引言 Spark Core是Spark的核心部分,是Spark SQL,Spark Streaming,Spark MLlib等等其他模块的基础, Spark Core提供了开发分布式应用的脚手架,使得其他模块或应用的开发者不必关心复杂的分...

2019/10/28 20:56
1.6K
Scala implicit 隐式转换安全驾驶指南

这篇短文将结合实例对隐式转换的各种场景进行解释和总结,希望看完的人能够安全驶过隐式转换这个大坑。 隐式转换函数 隐式转换函数有两种作用场景。 1 转换为期望类型:就是指一旦编译器看到...

2019/09/29 23:03
2.6K
Scala并发编程实战:Executor线程池

创建线程是一个重量级操作,因为需要调用操作系统内核的API,所以最好不要频繁的创建和销毁线程,为了能够复用创建的线程,常用的办法的就是创建线程池。 Executor java.util.concurren包中提...

2019/09/28 23:36
154
Spark Streaming实时计算海量用户UV

提出需求 实时统计业务系统(web,APP之类)的访问人数,即所谓UV,或者DAU指标. 这个需求怕是流计算最最最常见的需求了. 计算UV的关键点就在于去重,即同一个人访问两次是只计一个UV的.在离线计算...

本地访问服务器内网简易教程

通常为了安全,服务器需要通过跳板机访问,服务器对外网暴露的端口也严格限制。这...

2017/06/14 09:14
736
Kafka 0.10 常用运维命令

本文主要介绍一些常用的命令

2017/03/02 19:36
362
Spark读写MySQL

Spark读写MySQL的方法简介

2017/02/28 06:20
1.5K
Spark1.6 on YARN 部署

#标题:Spark1.6 on YARN 部署 #1.说明: 首先要部署好Hadoop集群包括HDFS和YARN,这里不再赘述. Spark on YARN模式,不需要启动spark的master和worker,master的工作由YARN完成. 相关路径根据实际...

2016/04/11 10:36
159

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部