加载中
postgres预写式日志的内核实现详解-概述

在Postgres数据库中,不论对数据进行了什么样的更改,只要涉及到更改的数据的持久化的问题就一定离不开wal日志来为数据库的数据安全保驾护航。wal日志的重要性不言而喻。 下面几个博客讲解w...

2018/11/24 11:00
1.4K
通过walminer分析DDL语句对PostgreSQL做了什么

资深的PostgreSQL DBA都知道,当我们对PostgreSQL执行一条DDL语句时,PostgreSQL会在pg_class,pg_attribute等系统表执行DML操作,比如执行了CREATE TABLE t1(i int, j int);DDL语句,那么就会...

PostgreSQL的事务及其实现机制

事务是数据库的最基本概念,在PostgreSQL中使用begin;end;命令可以开启和提交事务,当然这是最常见的PostgreSQL事务,除此之外PostgreSQL中还有子事务、多事务、2PC事务的概念。这篇博客,我将...

Walminer2.0 Beta功能改进说明

walminer是一款PostgreSQL的wal日志的解析工具,它可以依据数据字典解析出产生wal日志中隐含的DML语句。第一个版本的xlogminer工具需要wal为logical级别,而且还有表IDENTITY级别的要求。第二...

06/19 15:27
2.3K
postgres中实现删除重复列的其中一条数据

假设一张表没有主键,且有很多重复列,如何优雅的删除重复列的一行数据呢? 如下表数据: postgres=# select *from t1; i | j ---+--- 1 | 1 1 | 1 1 | 1 2 | 2 2 | 2 2 | 2 (6 rows) postg...

2019/07/31 13:37
66
pg_lightool基于basebackup的单表恢复和块恢复

开源软件pg_lightool,实现了基于wal日志的块恢复。详情参见博客:https://my.oschina.net/lcc1990/blog/1931485。由于wal日志中FPW的不确定性,它不能作为一个数据库恢复的解决方案。目前对...

2019/04/21 18:11
549
[walminer bug分析]checkpoint wal记录的lsn与checkpoint记录的redo点的关系

问题背景 walminer工具的用户反馈来一个问题,不管添加了多少wal日志,想要的wal文件的解析结果总是有未解析出的部分。 分析问题 分析问题发现,checkpoint wal记录之后对某个数据page进行修...

2019/03/26 07:57
220
postgres预写式日志的内核实现详解-XLOG类型

导读: postgres预写式日志的内核实现详解-概述 XLOG(RM_XLOG_ID)日志类型记录很杂乱,如下为XLOG类型的wal子类型。 /* XLOG info values for XLOG rmgr */ #define XLOG_CHECKPOINT_SHUTDOW...

2019/02/14 17:20
1K
PG wal日志解析工具功能增强并更名为WalMiner

使用软件遇到问题可先更新代码(欢迎提交bug)~~ 开发群组:811105058欢迎任何使用者 XlogMiner是从PostgreSQL的WAL(write ahead logs)日志中解析出执行的SQL语句的工具,并能生成出对应的und...

【PG内核】事务ID冷冻简述

数据库代码中事务ID的类型TransactionId定义为:typedef uint32 TransactionId。因此事务ID最大值为2^32-1=4294967295。 事务ID是需要循环使用的,为了做到这一点,数据库在做vacuum时将很老...

2019/01/22 11:29
90
【PG内核】pg11秒级新增非空默认字段的实现方法

pg11新特性,可以瞬间向一个表中添加非空默认字段。 今天研究了一下这个特性的内核实现方式,写个博客简单记录一下。 结论奉上 pg在从硬盘或者内存获取到一条数据记录后(以下称tuple),会使...

2019/01/21 09:22
117
postgres预写式日志的内核实现详解-heap2类型

导读: postgres预写式日志的内核实现详解-概述 heap2(RM_HEAP2_ID)是数据库对heap的修改产生的wal记录(heap除去),如下为heap2类型的wal子类型 #define XLOG_HEAP2_REWRITE 0x00 #define ...

2019/01/16 17:38
438
postgres预写式日志的内核实现详解-wal记录读取

导读: postgres预写式日志的内核实现详解-概述 之前已经写了关于wal记录的结构、wal记录的写入的博客,流复制、PITR、数据库启动、逻辑复制等PG功能都需要借助wal日志,他们是怎样读取wal日...

2018/11/30 09:22
866
postgres预写式日志的内核实现详解-wal记录写入

导读: postgres预写式日志的内核实现详解-概述 如下就是将一个记录存储到wal日志文件的主要函数,本文主要是对这些函数进行逐一说明。 XLogBeginInsert(); XLogRegisterData(); XLogRegiste...

2018/11/29 13:45
3K
postgres预写式日志的内核实现详解-wal结构

导读: postgres预写式日志的内核实现详解-概述 一、Wal文件的page结构 数据库运行时在数据目录下的pg_wal目录(pg10.0以上版本)下,产生wal日志文件段(如000000010000000000000003),每一...

2018/11/28 16:56
1.7K
postgres预写式日志的内核实现详解-heap类型

导读: postgres预写式日志的内核实现详解-概述 heap(RM_HEAP_ID)是数据库对任何logged表进行insert、delete、update操作后所产生的日志类型,如下为heap类型的wal子类型。 #define XLOG_HEA...

2018/11/28 11:30
543
postgres的\d命令不显示全部的用户表

如下示例,在数据库不同schema下有同名表t2 ,但是使用\d命令的时候只有一个t2表被查询出来。 postgres=# select oid,nspname from pg_namespace; oid | nspname -------+-------------------...

2018/11/08 14:14
315
postgres 9.x版本postmaster被kill后用户子进程无法退出的问题

场景 在pg9.x数据库版本中,postmaster进程被kill之后,长连接用户会没有任何异样的在奔跑~~~ 如下示例: postgres=# select version(); version ......

2018/09/05 20:03
180
Postgres在一种极端数据分布情况下vacuum full的替代方式

前言 vacuum full是困扰PG DBA的一个重要问题。 本文章分析了一种特殊情况下,vacuum full的替代方案。 极端情况描述 创建测试数据 # 插入测试数据 postgres=# insert into t2 (i,j,k) sele...

2018/08/26 21:26
1.5K
pg_lightool-postgres数据分布查看工具

一、前言 数据库在经过长时间的运行之后,有效数据不规则的分散在数据文件的各个地方。如何能得知每个page,每个segment到底存储了多少数据呢?作者DIY了这个功能'datadis'到pg_lightool工具...

2018/08/26 21:24
1.1K

没有更多内容

加载失败,请刷新页面

返回顶部
顶部