加载中
Flink的AggregateFunction

AggregateFunction 是什么 Flink 的AggregateFunction是一个基于中间计算结果状态进行增量计算的函数。由于是迭代计算方式,所以,在窗口处理过程中,不用缓存整个窗口的数据,所以效率执行比...

2019/07/02 11:21
3.3W
Hadoop写入读取流程

写入流程 客户端通过Distributed FileSystem模块向namenode请求上传文件,namenode检查目标文件是否已存在,父目录是否存在。 namenode返回是否可以上传。 客户端请求第一个 block上传到哪几...

2018/08/30 14:49
19
spark开发机中调试snappy

目的 在Idea中的点击运行,使spark可以直接读取snappy 自己编译hadoop,以支持snappy的压缩。 自己编译的目的就是要得到支持snappy文件读写的动态链接库。如果可以在网上下载,可以跳过自行编...

2018/07/20 21:21
1K
ubuntu18.04编译hadoop2.7.6支持snappy

官网下载 http://hadoop.apache.org/releases.html 解压 #读取 BUILDING.txt文件 上图中用红色框选中的文件,是官方的编译步走 Build instructions for Hadoop ----------------------------...

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部