数据仓库理论相关文章 数据仓库的设计https://my.oschina.net/u/2969788/blog/1611973 OLTP和OLAP 在线事务处理和在线分析处理https://my.oschina.net/u/2969788/blog/2875200 数据立方体常见...

spark 内存管理总结 spark内存分为 on-heap和off-heap,堆内内存和堆外内存 堆外内存,会把数据序列化之后写入jvm内存之外,但是需要单独编码申请资源和释放资源一般不怎么样用 堆内内存,在jvm...

hdfs上传文件过程详解 client端通知namenode要上传文件,namenode检查文件名是否已经存在,如果不存在通知可以上传,并且返回可以用于存储的datanode列表 client 切割文件为block块(默认大小128...

java 基础 面向对象多态 补充一句,面向对象编程的三大特征,封装,继承,多态. 多态:同一个对象在不同运行环境表现出不同的特点(功能),这种被称为多态.java 代码定义的对象在编程时并不能确定而...

hive join 操作解析过程 解析结果

spark shufflemananger hashShuffleManager spark1.2之后已经废弃了,除了面试官会问问没啥用,以前可以配置选择shuffleManager的具体实现,现在已经全部默认SortShuffleManager SortShuffleMan...

hive join的一个小问题 最近在看公司代码发现一个和join相关的奇怪的写法 抽象一下表结构如下 为了简化问题,这里就用这张示例表演示 写法一 写法二 写法一 明细是想要缩小join表的范围,减少关...

spark join和union+reducebykey 对比 对于某些聚合需求可以用union+reducebykey的方式替换join,join将会做两个表的连接操作比较消耗新能,union+reducebykey,可以在map的端进行预聚合,然后再r...

Linux 常用命令 文件表达式 -e filename 如果 filename存在，则为真 -d filename 如果 filename为目录，则为真 -f filename 如果 filename为常规文件，则为真 -L filename 如果 filename为符...

电信行业常用术语和概念 信令数据:终端机与通讯网络交互的数据 LAC:移动通讯系统中的位置区码,为寻呼而设置的一个区域，覆盖一片地理区域,一个位置区可以包含一个或多个小区(CI) CI:小区识别...

flink 多流join 触发时机详解 flink多流join代码很简单,但是对于初学者可能会遇到window窗口计算不能触发的"假象",这往往是由于对flink window eventtime processtime理解不到位引起的,以下示...

sql 中 where和join 生成中间表问题 数据库在通过连接两张或多张表来返回记录时，都会生成一张中间的临时表，然后再将这张临时表返回给用户 join on 的情况,以left join on 为例,它不管on的条...

hadoop fsimage文件解析 使用hdfs 命令解码fsimage文件 必须参数： -i,–inputFile 输入FSImage文件. -o,–outputFile 输出转换后的文件，如果存在，则会覆盖 可选参数： -p,–processor 将F...