个人空间 - OSCHINA - 中文开源技术交流社区

746

经验值

410

开源豆

粉丝

关注

关注私信

专长领域： 其它领域, WEB开发, 服务器端开发

开发平台： Python, Groovy, Scala, Linux/Unix

连击天

fork: star:

加载中

Streaming SQL在贝壳的演进之路原文发自公司对外公众号，作者笔名顾渊离，本人，转载请注明出处背景实时计算平台是贝壳内部统一承接实时需求和管理实时任务的平台，支持了公司埋点、商机、...

kafka flink hbase json redis debug schema calcite spark 开源关系数据库 operator type

flink

2020/04/20 22:04

Shuffle过程详解我们知道目前比较流行的大数据处理流程里，mapreduce是一个非常重要的计算模型，其分为map和reduce过程，而连接这两个过程的shuffle环节，则称为了整个计算模型的核心。其实...

reduce mapreduce spark 内存数据结构 combine comparator v k executor 数据处理 hadoop next

spark

2023/02/21 16:59

117

openpyxl 使用 install pip install openpyxl #python2 open && create excel open import openpyxl openpyxl.load_workbook(INPUT_FILE) create from openpyxl import Workbook wb = Workb...

openpyxl python2open createexcelopencreatesheetrowscell 1mergedcellappendsaveopenpyxl

clickhouse

2023/02/21 16:42

272

Varints 编码 Varint 是一种紧凑的表示数字的方法。它用一个或多个字节来表示一个数字，值越小的数字使用越少的字节数。这能减少用来表示数字的字节数。 Varint 中的每个字节（最后一个字节除...

2048 varint 压缩算法 clickhouse 存储系统 protobuf int32 byte long string varintvarints

java

2021/11/08 17:46

1.9K

openpyxl 使用 install pip install openpyxl #python2 open && create excel open import openpyxl openpyxl.load_workbook(INPUT_FILE) create from openpyxl import Workbook wb = Workb...

openpyxl installpipinstallopenpyxl python2open createexcelopencreatesheetrowscell

python

2021/10/12 15:31

200

jq 用法 jq是linux or mac下的命令行json解析工具，通常用于本地解析一个比较大的json串，较小的直接json.cn就可以了。初级用法 jq '.code' xxx.json jq '.code' "$RESPONSE_JSON" cat xxx....

json jq pipeline construction options linuxormac comma

学习记录

2021/10/12 14:59

clickhouse topic 5ffec51eba8f16b55dd0ffe4clickhouse http

clickhouse

2021/09/13 22:43

263

记Structured Streaming 2.3.1的OOM排查过程缘起最近在使用Structured Streaming开发一套自助配置SQL的来生成流式作业的平台，在测试的过程中发现有些作业长时间运行后会有Executor端的OOM...

executor kafka apache spark common java metrics github hermes yarn release cache lang https dump

spark

2018/09/26 16:39

4.1K

分布式存储初探缘起最近公司内部在做dmp服务，目前的方案都是搭建不同的redis集群，将数据灌到redis集群中系统查询服务供线上使用。但是随着数据量的增大以及数据源的多样性，再加上线上服...

hbase zookeeper tikv 分布式数据库 mysql configserver client data redis index hdfs crash

分布式

2018/04/08 18:01

1.8K

Spark 内存管理详解通常我们讨论的是Executor中的内存管理，自1.6版本后spark的内存分为两个部分，堆内内存和堆外内存。下面详细针对这两个部分进行详细的介绍。堆内内存堆内内存的大小，...

spark storage executor memory cache 外存 memorymanager hashmap reduce persist block partition

spark

2018/04/02 17:49

1.2K

Spark源码阅读——streaming模块作业生成和提交通常我们开发spark-streaming都会用到如下代码： val sparkConf = new SparkConf() .set("xxx", "") ... val sc = new SparkContext(sparkCon...

jobscheduler spark timer stream kafka 其他 streaming compute dstream start generatejobs

spark

2018/03/28 18:28

541

Spark 源码阅读——任务提交过程当我们在使用spark编写mr作业是，最后都要涉及到调用reduce,foreach或者是count这类action来触发作业的提交，所以，当我们查看这些方法的源码时，发现底层都...

spark executor tasks fair reduce scala task stage driverendpoint executorbackend dagscheduler runjob

spark

2018/03/28 13:49

没有更多内容

加载失败，请刷新页面

技能雷达

Gitee 贡献

博客数据统计

OSCHINA 社区

在线工具

攻略

公众号

视频号

问题反馈

社区协查

码云六周年

技能雷达

Gitee 贡献

博客数据统计

OSCHINA 社区

在线工具

攻略

公众号

视频号

问题反馈