OSC小程序
开源软件 问答 博客 翻译 资讯 Gitee代码托管 众包 活动 专区
登录 注册

技能雷达

专长领域： 其它领域, WEB开发, 服务器端开发
开发平台： Python, Groovy, Scala, Linux/Unix

Gitee 贡献

Gitee (gitee.com) 是 OSCHINA 推出的代码托管平台，支持 Git 和 SVN，提供免费的私有仓库托管。目前已有近 800 万的开发者选择 Gitee。

Gitee 贡献 反映用户在 Gitee 上评论、Fork、Star、Push等操作的次数。

免费开通 Gitee

1
2
3
4
5
6
7

连击 天

fork: star:

统计

今日访问：0
昨日访问：8
本周访问：0
本月访问：354
所有访问：35994
加载中
全部博文
41 全部博文 1 clickhouse 1 flink 1 分布式 5 spark 1 redis 2 jstorm 1 kafka 3 python 3 spring 8 学习记录 2 hadoop 5 java 1 C++ 4 Linux 2 hive 1 android
资讯 问答 评论
排序
按时间 按阅读量
创作历程
全部
2021年(7篇)
1 2021/11 2 2021/10 1 2021/09 3 2021/04
2020年(2篇)
1 2020/12 1 2020/04
2019年(1篇)
1 2019/01
2018年(5篇)
1 2018/09 2 2018/04 2 2018/03
2017年(5篇)
1 2017/07 1 2017/05 2 2017/02 1 2017/01
2016年(7篇)
1 2016/12 1 2016/08 4 2016/04 1 2016/01
2015年(5篇)
1 2015/12 1 2015/11 1 2015/10 1 2015/09 1 2015/02
2014年(1篇)
1 2014/11
2013年(8篇)
3 2013/07 1 2013/05 2 2013/04 2 2013/03
顶
原
荐
Streaming SQL在贝壳的演进之路

Streaming SQL在贝壳的演进之路 原文发自公司对外公众号，作者笔名顾渊离，本人，转载请注明出处 背景 实时计算平台是贝壳内部统一承接实时需求和管理实时任务的平台，支持了公司埋点、商机、...

flink
2020/04/20 22:04
6.8K
0
原
Varints 编码

Varints 编码 Varint 是一种紧凑的表示数字的方法。它用一个或多个字节来表示一个数字，值越小的数字使用越少的字节数。这能减少用来表示数字的字节数。 Varint 中的每个字节（最后一个字节除...

protocol buffersclickhouse
java
2021/11/08 17:46
1K
0
原
openpyxl 用法

openpyxl 使用 install pip install openpyxl #python2 open && create excel open import openpyxl openpyxl.load_workbook(INPUT_FILE) create from openpyxl import Workbook wb = Workb...

openpyxlxlsxpythonpip
python
2021/10/12 15:31
80
0
ClickHouse存储结构及索引详解

1

clickhouse
clickhouse
2021/09/13 22:43
132
0
原
细说sychronized关键字

sychronized用法 修饰代码段 public class Test { Object lock = new Object(); int i = 0; public void f() { sychronized (lock) { i++; } } } 适用于方法体比较大或者耗时，但需要同步的代...

javamarkcas
java
2021/04/08 11:17
80
0
原
Spark源码阅读——DirectInputDStream

Spark源码分析——DirectInputDStream 在Spark-Streaming中，对流的抽象是使用DStream来定义的，想要理解Spark-Streaming的流处理模型，深入了解DStream是很有必要的。 DStream 我们在定义一...

Apache Sparkdef
spark
2019/01/30 13:51
540
0
审
原
荐
记Structured Streaming 2.3.1的OOM排查过程

记Structured Streaming 2.3.1的OOM排查过程 缘起 最近在使用Structured Streaming开发一套自助配置SQL的来生成流式作业的平台，在测试的过程中发现有些作业长时间运行后会有Executor端的OOM...

ApacheHERMESApache SparkJavaKafka
spark
2018/09/26 16:39
4K
1
原
荐
分布式存储初探

分布式存储初探 缘起 最近公司内部在做dmp服务，目前的方案都是搭建不同的redis集群，将数据灌到redis集群中系统查询服务供线上使用。但是随着数据量的增大以及数据源的多样性，再加上线上服...

apache hbasezookeepertikvtidbmysql
分布式
2018/04/08 18:01
1.6K
2
原
Spark 内存管理

Spark 内存管理详解 通常我们讨论的是Executor中的内存管理，自1.6版本后spark的内存分为两个部分， 堆内内存和堆外内存。下面详细针对这两个部分进行详细的介绍。 堆内内存 堆内内存的大小，...

spark
2018/04/02 17:49
1K
0
原
Spark源码阅读——streaming模块作业生成和提交

Spark源码阅读——streaming模块作业生成和提交 通常我们开发spark-streaming都会用到如下代码： val sparkConf = new SparkConf() .set("xxx", "") ... val sc = new SparkContext(sparkCon...

JobSchedulerApache Sparkdef
spark
2018/03/28 18:28
429
0
原
荐
Spark源码阅读——任务提交过程

Spark 源码阅读——任务提交过程 当我们在使用spark编写mr作业是，最后都要涉及到调用reduce,foreach或者是count这类action来触发作业的提交，所以，当我们查看这些方法的源码时，发现底层都...

Spark Framework
spark
2018/03/28 13:49
1.9K
5
原
DRF资源分配算法

DRF算法 最近在看yarn的一些东西，看到DRF的时候特别纠结为什么第一个选的是B，查了一些资料，尼玛全是从书上扒下来的，千篇一律，没有任何参考价值。后来从mesos的一篇文章中看到，原来第一...

Apache MesosYarn
学习记录
2017/07/25 19:28
2.5K
2
原
使用hashmap优化压缩Redis内存使用

使用hashmap优化压缩Redis内存使用 背景 近来公司内部dsp架构升级，需要能够根据请求中的设备id实时的获取到该设备的用户画像相关信息，于是选用每天使用离线任务把用户数据灌入redis里面，供...

redis
redis
2017/05/11 17:50
6K
0
原
jstorm源码阅读（2） —— supervisor简介

jstorm源码阅读（2）—— supervisor简介 模块功能 Heartbeat 模块用于汇报supervisor心跳信息，包括hostname，workerports，current time和during time等信息，被AsyncLoopThread封装后默认...

jstorm
jstorm
2017/02/16 20:03
301
0
原
Jstorm源码阅读（1）—— topology 提交过程

Jstorm源码阅读（1）—— topology 提交过程 Client端 client端即我们使用命令 jstorm jar xxxx.jar xxxx.xxxx.xxxx args... 提交topology的过程，所以我们直接从StormSubmitter类的submitT...

jstorm
jstorm
2017/02/15 20:09
620
0
原
kafka 0.10.1.0 权限验证源码分析

初始化流程图 ChannelBuilders.create创建ChannelBuilder对应关系如下： switch (securityProtocol) {     case SSL:         requireNonNullMode(mode, securityProtocol);       ...

kafkajaas
kafka
2017/01/05 15:00
1.7K
0

没有更多内容

加载失败，请刷新页面

删除文章

文章删除后无法恢复，确定删除此文章吗？

取消
确定
删除动弹

动弹删除后，数据将无法恢复

取消
确定
删除一条评论

评论删除后，数据将无法恢复

取消
确定
返回顶部
顶部