Streaming SQL在贝壳的演进之路 原文发自公司对外公众号，作者笔名顾渊离，本人，转载请注明出处 背景 实时计算平台是贝壳内部统一承接实时需求和管理实时任务的平台，支持了公司埋点、商机、...

链接：http://lday.me/2020/01/28/0024_hdfs_lease_internal/ 侵删

Spark源码分析——DirectInputDStream 在Spark-Streaming中，对流的抽象是使用DStream来定义的，想要理解Spark-Streaming的流处理模型，深入了解DStream是很有必要的。 DStream 我们在定义一...

记Structured Streaming 2.3.1的OOM排查过程 缘起 最近在使用Structured Streaming开发一套自助配置SQL的来生成流式作业的平台，在测试的过程中发现有些作业长时间运行后会有Executor端的OOM...

分布式存储初探 缘起 最近公司内部在做dmp服务，目前的方案都是搭建不同的redis集群，将数据灌到redis集群中系统查询服务供线上使用。但是随着数据量的增大以及数据源的多样性，再加上线上服...

Spark 内存管理详解 通常我们讨论的是Executor中的内存管理，自1.6版本后spark的内存分为两个部分， 堆内内存和堆外内存。下面详细针对这两个部分进行详细的介绍。 堆内内存 堆内内存的大小，...

Spark源码阅读——streaming模块作业生成和提交 通常我们开发spark-streaming都会用到如下代码： val sparkConf = new SparkConf() .set("xxx", "") ... val sc = new SparkContext(sparkCon...

Spark 源码阅读——任务提交过程 当我们在使用spark编写mr作业是，最后都要涉及到调用reduce,foreach或者是count这类action来触发作业的提交，所以，当我们查看这些方法的源码时，发现底层都...

DRF算法 最近在看yarn的一些东西，看到DRF的时候特别纠结为什么第一个选的是B，查了一些资料，尼玛全是从书上扒下来的，千篇一律，没有任何参考价值。后来从mesos的一篇文章中看到，原来第一...

使用hashmap优化压缩Redis内存使用 背景 近来公司内部dsp架构升级，需要能够根据请求中的设备id实时的获取到该设备的用户画像相关信息，于是选用每天使用离线任务把用户数据灌入redis里面，供...

jstorm源码阅读（2）—— supervisor简介 模块功能 Heartbeat 模块用于汇报supervisor心跳信息，包括hostname，workerports，current time和during time等信息，被AsyncLoopThread封装后默认...

Jstorm源码阅读（1）—— topology 提交过程 Client端 client端即我们使用命令 jstorm jar xxxx.jar xxxx.xxxx.xxxx args... 提交topology的过程，所以我们直接从StormSubmitter类的submitT...

初始化流程图 ChannelBuilders.create创建ChannelBuilder对应关系如下： switch (securityProtocol) {     case SSL:         requireNonNullMode(mode, securityProtocol);       ...

最近在使用MR跑一个任务的时候shuffle阶段出现OOM，这个问题之前从来没有遇到过，上网找了一下，发现网友也遇到过想似的问题，以下是转载的该问题的解决方法： 原文地址：http://blog.csdn....

nginx默认启动是在daemon模式下，所以在使用命令docker run -d nginx /usr/sbin/nginx时，容器启动nginx后会立刻退出，所以需要使用nginx的前台运行模式，需要在配置文件中加“daemon off"指...

最近工作不饱和啊，加上正好有空闲的机器，就想着搭个mesos+docker+marathon玩玩。上干货： 环境Centos6.7，内核版本3.18 先安装mesos的依赖包 wget http://mirror.centos.org/centos/6/os/...

#! /bin/bash NGINX_PATH='/home/q/nginx/logs' LOG_FILE_TIME="$(date -d "1 day ago" "+%Y-%m-%d")" LOG_FILE="${NGINX_PATH}/access.$LOG_FILE_TIME.log" mv ${NGINX_PATH}/acces...

安装 wget http://tenet.dl.sourceforge.net/project/mysql-python/mysql-python-test/1.2.4b4/MySQL-python-1.2.4b4.tar.gz tar zxvf MySQL-python-1.2.4b4.tar.gz sudo apt-get insta...

MAPREDUCE: mapred.job.queue.name 队列名称 内存相关： mapreduce.reduce.memory.mb 每个Reduce Task需要的内存量(默认1024) mapreduce.map.memory.mb 每个Map Task需要的内存量(默认1024)...

JVM内存管理和垃圾回收 JVM内存模型其实就是JVM在运行程序时的一个内存分布情况，主要分一下几个区域： 1.PC寄存器： 用于存储每个线程下一步将执行的JVM指令，native方法则PC寄存器中不存储...