加载中
spark 内存管理总结

spark 内存管理总结 spark内存分为 on-heap和off-heap,堆内内存和堆外内存 堆外内存,会把数据序列化之后写入jvm内存之外,但是需要单独编码申请资源和释放资源一般不怎么样用 堆内内存,在jvm...

2020/05/24 14:28
70
hdfs上传/下载文件过程详解

hdfs上传文件过程详解 client端通知namenode要上传文件,namenode检查文件名是否已经存在,如果不存在通知可以上传,并且返回可以用于存储的datanode列表 client 切割文件为block块(默认大小128...

java 基础汇总

java 基础 面向对象多态 补充一句,面向对象编程的三大特征,封装,继承,多态. 多态:同一个对象在不同运行环境表现出不同的特点(功能),这种被称为多态.java 代码定义的对象在编程时并不能确定而...

2020/05/22 17:15
72
hive join 操作解析过程

hive join 操作解析过程 解析结果

2020/05/18 17:54
48
spark shuffleManager学习记录

spark shufflemananger hashShuffleManager spark1.2之后已经废弃了,除了面试官会问问没啥用,以前可以配置选择shuffleManager的具体实现,现在已经全部默认SortShuffleManager SortShuffleMan...

2020/05/15 15:40
139
Linux 常用命令

Linux 常用命令 文件表达式 -e filename 如果 filename存在,则为真 -d filename 如果 filename为目录,则为真 -f filename 如果 filename为常规文件,则为真 -L filename 如果 filename为符...

flink 多流join 触发时机详解

flink 多流join 触发时机详解 flink多流join代码很简单,但是对于初学者可能会遇到window窗口计算不能触发的"假象",这往往是由于对flink window eventtime processtime理解不到位引起的,以下示...

hadoop fsimage文件解析

hadoop fsimage文件解析 使用hdfs 命令解码fsimage文件 必须参数: -i,–inputFile 输入FSImage文件. -o,–outputFile 输出转换后的文件,如果存在,则会覆盖 可选参数: -p,–processor 将F...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部