连击 天
fork: star:
spark 内存管理总结 spark内存分为 on-heap和off-heap,堆内内存和堆外内存 堆外内存,会把数据序列化之后写入jvm内存之外,但是需要单独编码申请资源和释放资源一般不怎么样用 堆内内存,在jvm...
hdfs上传文件过程详解 client端通知namenode要上传文件,namenode检查文件名是否已经存在,如果不存在通知可以上传,并且返回可以用于存储的datanode列表 client 切割文件为block块(默认大小128...
java 基础 面向对象多态 补充一句,面向对象编程的三大特征,封装,继承,多态. 多态:同一个对象在不同运行环境表现出不同的特点(功能),这种被称为多态.java 代码定义的对象在编程时并不能确定而...
spark shufflemananger hashShuffleManager spark1.2之后已经废弃了,除了面试官会问问没啥用,以前可以配置选择shuffleManager的具体实现,现在已经全部默认SortShuffleManager SortShuffleMan...
flink 多流join 触发时机详解 flink多流join代码很简单,但是对于初学者可能会遇到window窗口计算不能触发的"假象",这往往是由于对flink window eventtime processtime理解不到位引起的,以下示...
hadoop fsimage文件解析 使用hdfs 命令解码fsimage文件 必须参数: -i,–inputFile 输入FSImage文件. -o,–outputFile 输出转换后的文件,如果存在,则会覆盖 可选参数: -p,–processor 将F...
没有更多内容
加载失败,请刷新页面
文章删除后无法恢复,确定删除此文章吗?
动弹删除后,数据将无法恢复
评论删除后,数据将无法恢复