加载中
flink 自定义时间窗口的实现

大家好,今天看了下flink 的自定义时间窗口的实现,看见下网上的例子,自己抄写了一遍,但是不能运行(可能是我抄代码的功底太差);所以又研究了下,自己手写了一个时间窗口的例子(基于处理...

08/31 12:20
66
flink 向副输出发送数据

副输出功能:大多数DataStream 的算子都只有一个输出,即只能生成一条某个数据类型的结果流。只有split算子可以将一条流拆分成多条类型相同的流。 而处理函数提供的副输出功能准许从同一函数发...

08/28 16:45
33
Caused by: java.io.IOException: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.

错误: 20/08/24 17:29:11 INFO mapreduce.Job: Task Id : attempt_1594195336447_10313899_m_000093_0, Status : FAILED Too Many fetch failures.Failing the attempt 20/08/24 17:29:11 I...

08/24 17:53
88
flink 窗口函数之增量聚合与全量聚合

flink 窗口函数后会跟进聚集函数,聚合函数又分为增量聚合与全量聚合 增量聚合:本时间窗口范围内的数据聚合 全量聚合:本次时间窗口聚合结果+ 历史聚合结果 聚合后生成新的历史聚合结果 pu...

08/07 17:57
547
kafka学习

场景驱动方式:kafka client: 生产者发送数据的流程 消费者消费数据的流程 server kafka的网络架构是如何设计的 kafka的数据是如何存储的 kafka的副本是如何同步的 kafka的元数据信息是如何...

08/01 16:56
22
windows10 mysql 8 安装

今天帮同事安装 windows mysql 8 ; 基本上是一键安装,但是 安装完,赋权限啥的搞了半天,赋权限的语句和之前低版本的不一样了, 旧版本: GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDEN...

06/24 16:00
49
kafka 生产者

依赖: <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.5.0</version> </dependency> 普通api: Properties props = new Propertie...

raid 技术

磁盘访问接口分为:IDE、SATA、SCSI、USB,但是都比较慢,此时出现了raid技术(采用条带技术) raid级别: 0:条带 性能提升:读、写 冗余能力(容错能力):无 空间利用率:1 至少2块盘 1:...

04/20 08:35
104
hive常用函数

1、coalesce(a, b,c) 返回 a b c 字段中第一个不是null的字段值,如果都为null 那么返回 null 2、split(str, regex) 将字符串切割成数组...

2018/04/03 17:52
43
排序算法

快速插入排序算法: 快速插入排序算法,就是将本次要往有序数组中插入的值作为target,如果比target大,就把自己的位置腾出来,将自己的值赋给他上面的位置上(第一次是赋到target的位置上了...

2018/02/07 22:04
70
spark之宽依赖与窄依赖

面试题,cartesian是窄依赖的解释

2018/01/24 23:45
322
6、python时间序列数据分析

python的日期和时间处理及操作 pandas的时间序列数据处理及操作 时间数据重采样 时间序列数据统计--滑动窗口 时间模型:ARIMA 实战案例:股票数据分析

2018/01/06 00:54
2.7K
4、python之pandas

Series(相当于一维数组) 通过list构建series # -*- coding: utf-8 -*- import pandas as pd if __name__ == '__main__': # 通过list构建series series = pd.Series(range(10, 20)...

2018/01/01 00:27
60
3、python数据采集与操作

读取文本文件: # -*- coding: utf-8 -*- if __name__ == '__main__': test_file = "./test.txt" file_obj = open(test_file, 'r') lines = file_obj.readlines() # file_o...

2017/12/31 00:31
73
2、python 科学计算及数据可视化

numpy 与SciPy SciPy: * 在NumPy库的基础上增加了众多的数学、科学及工程常用的库函数 *线性代数、常微分方程求解、信号处理、图像处理、稀疏矩阵等 * import scipy as sp *一般数据处理num...

2017/12/29 17:47
908
1、python的数据结构

本人工作环境安装的是anaconda(包含第三方的库,此处略过) 字符串和元组是不可变的 字符串与时间的转换: from datetime import datetime if __name__ == '__main__': dt = datetime(...

2017/12/28 18:29
39
pandas

pandas分组,和去中心话 randint_ = {'key1': ['a', 'b', 'a', 'b', 'a', 'b', 'a', 'a'], 'key2': ['one', 'one', 'two', 'three', 'two', 'two', 'one', 'three'], ...

2017/11/29 22:58
9
37_04_awk入门进阶

linux文本文本处理工具三剑客,grep,sed,awk grep:文本过滤器,匹配模式,显示文本,eg:grep ‘pattern’ inputfile... sed:流编辑器 awk:Aho,Kernighan and Weinberger(三个人名),...

2017/11/22 18:20
46
1、Hive原理及查询优化

hive的结构图: hive中最重要的就是Compiler解析器,hive当客户端提交一条sql,Driver将sql提交给compiler,compiler和dirver交互拿到meatastore中元数据信息,经过解析生成mapreduce任务提交...

2017/11/18 17:49
285
golang

下载go安装包(采用标准包安装) https://www.golangtc.com/download go标准包安装是一键式安装,安装完成后环境变量基本都配置好了,只需要配置一个工作目录就可以了。 GOPATH=D:\MyGoPath...

2017/11/02 21:39
15

没有更多内容

加载失败,请刷新页面

返回顶部
顶部