个人空间 - OSCHINA - 中文开源技术交流社区

spark 内存管理总结 spark内存分为 on-heap和off-heap,堆内内存和堆外内存堆外内存,会把数据序列化之后写入jvm内存之外,但是需要单独编码申请资源和释放资源一般不怎么样用堆内内存,在jvm...

java apache spark persist

spark

2020/05/24 14:28

70

0

hdfs上传文件过程详解 client端通知namenode要上传文件,namenode检查文件名是否已经存在,如果不存在通知可以上传,并且返回可以用于存储的datanode列表 client 切割文件为block块(默认大小128...

hdfs socketstream

hdfs 分布式文件系统

2020/05/24 14:03

336

0

java 基础面向对象多态补充一句,面向对象编程的三大特征,封装,继承,多态. 多态:同一个对象在不同运行环境表现出不同的特点(功能),这种被称为多态.java 代码定义的对象在编程时并不能确定而...

java

2020/05/22 17:15

72

0

hive join 操作解析过程解析结果

hive

java

2020/05/18 17:54

48

0

spark shufflemananger hashShuffleManager spark1.2之后已经废弃了,除了面试官会问问没啥用,以前可以配置选择shuffleManager的具体实现,现在已经全部默认SortShuffleManager SortShuffleMan...

apache spark 面试

spark

2020/05/15 15:40

139

0

Linux 常用命令文件表达式 -e filename 如果 filename存在，则为真 -d filename 如果 filename为目录，则为真 -f filename 如果 filename为常规文件，则为真 -L filename 如果 filename为符...

linux filename filename1 filename2 wfilename sfilename hfilename efilename lfilename otfilename2

Linux

2019/08/20 10:52

90

0

flink 多流join 触发时机详解 flink多流join代码很简单,但是对于初学者可能会遇到window窗口计算不能触发的"假象",这往往是由于对flink window eventtime processtime理解不到位引起的,以下示...

flink pipeline linux idea join window eventtime processtime endtime keyby string eventtimewindow

flink

2019/08/02 15:21

1K

0

hadoop fsimage文件解析使用hdfs 命令解码fsimage文件必须参数： -i,–inputFile 输入FSImage文件. -o,–outputFile 输出转换后的文件，如果存在，则会覆盖可选参数： -p,–processor 将F...

data help inputfile hdfs fsimage hdfsanalysis hadoopfsimage byte hdfsoiv processor fsimagetxt

hdfs 分布式文件系统

2019/02/11 15:53

1.3K

0

西二旗之猫

技能雷达

Gitee 贡献

博客数据统计

OSCHINA 社区

在线工具

攻略

公众号

视频号

问题反馈