个人空间 - OSCHINA - 中文开源技术交流社区

Aaaaaaaron

高山仰止景行行止

经验值

开源豆

粉丝

关注

关注私信

专长领域： 服务器端开发

开发平台： Java EE, Java SE, Golang

连击天

fork: star:

加载中

在实际使用 spark + parquet 的时候, 遇到了两个不解的地方: 我们只有一个 parquet 文件(小于 hdfs block size), 但是 spark 在某个 stage 生成了4个 tasks 来处理. 4个 tasks 中只有一个 ta...

parquet reader spark tasks converter init partitions rowgroup split initialize partition

Spark

2018/10/22 23:19

5.8K

前言在平时的 Spark 处理中常常会有把一个如 2012-12-12 这样的 date 类型转换成一个 long 的 Unix time 然后进行计算的需求.下面是一段示例代码: val schema = StructType( Array( StructF...

timezone spark null catalyst apache session expr jdbc hive timestamp cast getid longtype select

Spark

2018/07/04 11:35

1.4K

前言本文先介绍了goroutine的原理,懂了原理之后,goroutine也就没有那么的神秘了.接下来介绍了goroutine的使用.最后介绍了一些goalng并发常用的模式. goroutine实现基础 Go直接在语言里内置了...

go worker chan 操作系统 tasks goroutine dispatcher channel runtime timeout slice resources pong

Java

2017/05/27 12:16

1.2K

七周七并发之线程与锁

level 编程语言 next actor unlock 图像处理 clojure 大数据 java 程序员 data signal wiki

读书笔记

2016/08/03 15:13

6.7K

字节跳动招人, 待遇/福利无双! 应届生: 字节跳动校招内推码: CH7U9JD 投递链接: https://job.toutiao.com/campus/ 社招: https://job.toutiao.com/s/be8Exo......

https toutiao campus be8exo ch7u9jd

Java

2020/01/26 15:23

0xFF Web服务可以让你在HTTP协议的基础上通过XML或者JSON来交换信息。醍醐灌顶!!! 你可以编写一段简短的代码，通过抓取这些信息然后通过标准的接口开放出来，就如同你调用一个本地函数并返回...

worker web服务器 nginx 操作系统 epoll func apache cachemanager ttime html cache device json

高性能

2017/05/21 17:02

1.6K

使用golang net/http库发送http请求，最后都是调用 transport的 RoundTrip方法 type RoundTripper interface { RoundTrip(*Request) (*Response, error) } RoundTrip executes a singl...

go goroutine channel chan https reader timeout persistconn http requestandchan struct roundtrip

Golang

2017/05/21 16:46

198

1 线程共享内存区 Java堆区用于存储Java对象实例,但是不一定是Java对象内存分配的唯一选择(为了降低GC频率).在JVM启动的时候大小就已经设定好了.(-Xmx最大 -Xms起始) 超过最大内存的时候,抛...

eden java parallel java虚拟机垃圾收集器 mark sweep 压缩算法 client 时间范围 server

Java

2016/09/22 19:41

1.4K

没有更多内容

加载失败，请刷新页面

Aaaaaaaron

技能雷达

Gitee 贡献

博客数据统计

OSCHINA 社区

在线工具

攻略

公众号

视频号

问题反馈