加载中
Flink链路延迟监控的LatencyMarker机制实现

流式计算中处理延迟是一个非常重要的监控metric,如果每一条数据都打上时间监控 输出时间- 输入时间,会大量的消耗性能,来看一下flink自带的延迟监控是怎么做的。 其实也可以想到原理很简单...

2022/10/26 21:25
63
clickhouse 索引为啥需要mrk文件

数据索引 例如有如下数据,主键为x和y。 x y z A a 1 A a 2 A c 1 B c 1 B c 2 C a 3 C a 1 假设index_granularity为2,先将数据分为多个block x y block-id A a 1 A a 1 A c 2 B c 2 B b 3 ...

2022/10/12 16:57
9
结构化思维

记得在我刚进入职场的时候,一位资深的职场老前辈跟我说过一句话,一个成功的职场人必备的三项技能:想清楚,说明白,干到位;进入职场也快10年了,依然对这句话印象深刻,并且每进阶一个阶段...

2022/09/27 19:04
8
如何选择合适的数据库

影响数据库选择的因素 数据量:是否海量数据,单表数据量太大会考验数据库的性能 数据结构:结构化 (每条记录的结构都一样) 还是非结构化的 (不同记录的结构可以不一样) 是否宽表:一条记录是...

2022/09/14 22:05
102
spark Codegen

https://www.iteblog.com/archives/2563.html https://blog.csdn.net/xin93/article/details/80697488...

2022/08/31 19:01
99
spark常用节点及含义

val testsql = """ |with t as ( |select concat(uid,'_dddd')uid |from userTable | |) |select t1.uid |from | ( | select * from t......

2022/08/31 18:22
111
spark 比 MapReduce快的原因

1. 中间结果保存在内存中 MapReduce的设设计:中间结果保存在文件中,Spark的特殊之处在于可以将RDD缓存到内存之中,下次再使用此RDD时,不用再次计算,而是直接从内存中获取。 Spark和MapRe...

2022/08/31 15:23
388
hdfs写成功是要写三副本吗?

ACK 是否三个备份都写成功之后再确认成功操作? 不是的,只要成功写入的节点数量达到dfs.replication.min(默认为1),那么就任务是写成功的 正常情况下: ① 在进行写操作的时候(以默认备份3...

2022/08/29 10:32
79
维度退化

为啥有维度退化? 退化维度的维度表可以被剔除,从而简化维度数据仓库的模式。因为简单的模式比复杂的更容易理解,也有更好的查询性能。 什么样的维度可以进行维度退化? 当一个维度没有数据...

2022/06/12 17:14
132
宽表的设计

宽表的设计 其实宽表是数仓里面非常重要的一块,前面我们介绍过了维度表事实表,今天我们介绍一下宽表,前面我们说过了数仓是分层的,这是技术进步和时代变化相结合的产物,数仓的分层式为了...

2022/06/12 16:25
103
搭建加载数仓DWS层

数仓(一)简介数仓,OLTP和OLAP 数仓(二)关系建模和维度建模 数仓(三)简析阿里、美团、网易、恒丰银行、马蜂窝5家数仓分层架构 数仓(四)数据仓库分层 数仓 (五) 元数据管理系统解析 ...

2022/06/10 20:46
181
数仓DIM层以及拉链表处理

数仓(一)简介数仓,OLTP和OLAP 数仓(二)关系建模和维度建模 数仓(三)简析阿里、美团、网易、恒丰银行、马蜂窝5家数仓分层架构 数仓(四)数据仓库分层 数仓(五)元数据管理系统解析 数仓...

2022/06/10 19:02
987
git 合并多次提交

文章目录 1 为何要合并多次 commit 2 导致多次 commit 的场景 3 合并本地多次提交 3.1 做3次提交 3.2 开始合并 3.3 rebase 完成后本地 log 3.4 git push 后的远程 history 4 合并远程多次提交...

2022/04/19 17:23
150
hive lateral view详解

概况 Lateral view与UDTF函数一起使用,UDTF对每个输入行产生0或者多个输出行。Lateral view首先在基表的每个输入行应用UDTF,然后连接结果输出行与输入行组成拥有指定表别名的虚拟表。 测试...

2021/03/25 21:48
204
clickhouse user.xml

config.xml文件可以使用用户设置,配置文件和配额指定单独的配置。 此配置的相对路径在users_config元素中设置。 默认情况下,它是users.xml。 如果省略users_config,则直接在config.xml中指...

2021/03/15 21:51
1.1K

没有更多内容

加载失败,请刷新页面

返回顶部
顶部