加载中
Spark Parquet file split

在实际使用 spark + parquet 的时候, 遇到了两个不解的地方: 我们只有一个 parquet 文件(小于 hdfs block size), 但是 spark 在某个 stage 生成了4个 tasks 来处理. 4个 tasks 中只有一个 ta...

2018/10/22 23:19
5.7K
Spark DateType cast 踩坑

前言 在平时的 Spark 处理中常常会有把一个如 2012-12-12 这样的 date 类型转换成一个 long 的 Unix time 然后进行计算的需求.下面是一段示例代码: val schema = StructType( Array( StructF...

2018/07/04 11:35
4.7K
Go Concurrency 实战

前言 本文先介绍了goroutine的原理,懂了原理之后,goroutine也就没有那么的神秘了.接下来介绍了goroutine的使用.最后介绍了一些goalng并发常用的模式. goroutine实现基础 Go直接在语言里内置了...

2017/05/27 12:16
2.6K
七周七并发之线程与锁

七周七并发之线程与锁

2016/08/03 15:13
7.4K
字节跳动内推啦

字节跳动招人, 待遇/福利无双! 应届生: 字节跳动校招内推码: CH7U9JD 投递链接: https://job.toutiao.com/campus/ 社招: https://job.toutiao.com/s/be8Exo......

2020/01/26 15:23
222
Maven 依赖 install

基础 首先明确: mvn install 出来的 jar 包只会包含自己的 src 的 classes. 即使你是 compile 的依赖, 也不会进去, 但是如果打成 war 包, 是会包含 compile scope 的依赖的. 而 provided 是要...

2018/11/08 17:07
265
SQL优化:Merge Join vs. Hash Join vs. Nested Loop

本文转发自技术世界,原文链接 http://www.jasongj.com/2015/03/07/Join1/ Nested Loop,Hash Join,Merge Join介绍 Nested Loop: 对于被连接的数据子集较小的情况,Nested Loop是个较好的选...

2018/03/04 13:35
278
高性能服务器架构思路

在服务器端程序开发领域,性能问题一直是备受关注的重点。业界有大量的框架、组件、类库都是以性能为卖点而广为人知。然而,服务器端程序在性能问题上应该有何种基本思路,这个却很少被这些项...

2017/05/21 17:17
90
高性能Web Server思考

0xFF Web服务可以让你在HTTP协议的基础上通过XML或者JSON来交换信息。 醍醐灌顶!!! 你可以编写一段简短的代码,通过抓取这些信息然后通过标准的接口开放出来,就如同你调用一个本地函数并返回...

Go transport 剖析

使用golang net/http库发送http请求,最后都是调用 transport的 RoundTrip方法 type RoundTripper interface { RoundTrip(*Request) (*Response, error) } RoundTrip executes a singl...

2017/05/21 16:46
328
直通BAT算法精讲10元优惠码 ANMj7Nq

直通BAT算法精讲10元优惠码 ANMj7Nq

2016/09/27 09:21
63
Java虚拟机精讲之内存分配与垃圾回收

1 线程共享内存区 Java堆区 用于存储Java对象实例,但是不一定是Java对象内存分配的唯一选择(为了降低GC频率).在JVM启动的时候大小就已经设定好了.(-Xmx最大 -Xms起始) 超过最大内存的时候,抛...

2016/09/22 19:41
1.4K

没有更多内容

加载失败,请刷新页面

返回顶部
顶部