postgres预写式日志的内核实现详解-heap2类型

原创
2019/01/16 17:38
阅读数 1.4K

  导读:

    postgres预写式日志的内核实现详解-概述

 

heap2(RM_HEAP2_ID)是数据库对heap的修改产生的wal记录(heap除去),如下为heap2类型的wal子类型

#define XLOG_HEAP2_REWRITE		0x00
#define XLOG_HEAP2_CLEAN		0x10
#define XLOG_HEAP2_FREEZE_PAGE	0x20
#define XLOG_HEAP2_CLEANUP_INFO 0x30
#define XLOG_HEAP2_VISIBLE		0x40
#define XLOG_HEAP2_MULTI_INSERT 0x50
#define XLOG_HEAP2_LOCK_UPDATED 0x60
#define XLOG_HEAP2_NEW_CID		0x70

 

XLOG_HEAP2_MULTI_INSERT

这种wal子类型在copy命令向表中插入数据时产生。代码在heap_multi_insert()函数中。redo函数为heap_xlog_multi_insert()。

描述结构体

typedef struct xl_heap_multi_insert
{
	uint8		flags;
	uint16		ntuples;
	OffsetNumber offsets[FLEXIBLE_ARRAY_MEMBER];
} xl_heap_multi_insert;

ntuples:这个mutinsert wal记录中,包含的tuple的个数。

offsets:每一个tuple的在其page的相对位置。

flags:标志位

#define XLH_INSERT_ALL_VISIBLE_CLEARED			(1<<0)// VM稳健性相关
#define XLH_INSERT_LAST_IN_MULTI				(1<<1)//一次copy命令产生的最后一个muti insert记录会有此标记,logicaldecoding使用
#define XLH_INSERT_IS_SPECULATIVE				(1<<2)//预测插入
#define XLH_INSERT_CONTAINS_NEW_TUPLE			(1<<3)//即使fpw也要写入元组数据

此wal类型中可能包含的数据

①xl_heap_multi_insert结构体:一定存在,通过XLogRegisterData()注册

②插入的元组所在的page数据:可能存在,使用XLogRegisterBuffer()注册。

③插入的元组数据:可能存在,使用XLogRegisterBufData()注册。

一个copy命令可能插入很多个page的数据。一个muti insert记录里的所有元组必须插入到同一个page里。因此一个copy命令可能会产生很多这个wal记录。

 

XLOG_HEAP2_REWRITE

这个wal类型用于逻辑解析过程中,当表发生relfilenode的改变时,会在内存中记录relfilenode变化的过程,以供逻辑解析使用。

当这些信息从内存刷新到磁盘上的时候,会写wal日志。

描述结构体

typedef struct xl_heap_rewrite_mapping
{
	TransactionId mapped_xid;	/* xid that might need to see the row */
	Oid			mapped_db;		/* DbOid or InvalidOid for shared rels */
	Oid			mapped_rel;		/* Oid of the mapped relation */
	off_t		offset;			/* How far have we written so far */
	uint32		num_mappings;	/* Number of in-memory mappings */
	XLogRecPtr	start_lsn;		/* Insert LSN at begin of rewrite */
} xl_heap_rewrite_mapping;

mapped_xid:每一个mapping都是用xid来标识的

mapped_db:数据库oid

mapped_rel:表的oid

offset:pg_logical/mapping下这个map文件下一个写入的位置

num_mappings:map的数量

start_lsn:rewrite开始时的lsn

此wal类型中可能包含的数据

①xl_heap_rewrite_mapping结构体:一定存在,通过XLogRegisterData()注册

②此mapping的数据LogicalRewriteMappingData如下:一定存在,使用XLogRegisterData()注册。

typedef struct LogicalRewriteMappingData
{
	RelFileNode old_node;
	RelFileNode new_node;
	ItemPointerData old_tid;
	ItemPointerData new_tid;
} LogicalRewriteMappingData;

 

XLOG_HEAP2_CLEAN

执行vacuum会产生此wal记录类型,一个page被清理后,会对这个page的item进行更新

typedef struct xl_heap_clean
{
	TransactionId latestRemovedXid;
	uint16		nredirected;
	uint16		ndead;
	/* OFFSET NUMBERS are in the block reference 0 */
} xl_heap_clean;

latestReemovedXid:最旧xid,备机使用

nredirected:重定向的item的个数

ndead:死亡的item的个数

此wal类型中可能包含的数据

①xl_heap_clean结构体:一定存在,通过XLogRegisterData()注册

②清理的page的所有数据:可能存在,使用XLogRegisterBuffer()注册。

③'重定向的item的位置'数组,可能存在,通过XLogRegisterBufData()注册

④'死亡的item的位置'数组,可能存在,通过XLogRegisterBufData()注册

⑤'未使用的item的位置'数组,可能存在,通过XLogRegisterBufData()注册

 

XLOG_HEAP2_FREEZE_PAGE

执行vacuum时,如果有元组被freeze,产生此wal记录。

描述结构体

typedef struct xl_heap_freeze_page
{
	TransactionId cutoff_xid;
	uint16		ntuples;
} xl_heap_freeze_page;

cutoff_xid:最旧xid,备机使用

ntuples:freeze的元组的个数

此wal类型中可能包含的数据

①xl_heap_freeze_page结构体,一定存在,通过XLogRegisterData()注册

②清理的page的所有数据:可能存在,使用XLogRegisterBuffer()注册。

③每一个freeze元组的清理结果,清理结果用xl_heap_freeze_tuple存储,一定存在,使用XLogRegisterBufData()注册。

typedef struct xl_heap_freeze_tuple
{
	TransactionId xmax;
	OffsetNumber offset;
	uint16		t_infomask2;
	uint16		t_infomask;
	uint8		frzflags;
} xl_heap_freeze_tuple;

 

XLOG_HEAP2_CLEANUP_INFO

备机使用的wal,具体作用没有研究明白,暂时留白。

 

XLOG_HEAP2_VISIBLE

更改某个数据page在VM文件中的映射位时,产生这个wal记录。

描述结构体

typedef struct xl_heap_visible
{
	TransactionId cutoff_xid;
	uint8		flags;
} xl_heap_visible;

cutoff_xid:最旧xid,备机使用

flags:设置的映射信息

#define VISIBILITYMAP_ALL_VISIBLE	0x01 //page内所有的tuple都可见
#define VISIBILITYMAP_ALL_FROZEN	0x02 //page内所有的tuple都frozen
#define VISIBILITYMAP_VALID_BITS	0x03 //ALL_VISIBLE + ALL_FROZEN

此wal类型中可能包含的数据

①xl_heap_visible结构体,一定存在,通过XLogRegisterData()注册

②修改的位所在的vm buff ,可能存在,通过XLogRegisterBuffer()注册

③修改的位所指定的heapbuff,可能存在,通过XLogRegisterBuffer()注册

 

XLOG_HEAP2_LOCK_UPDATED 

在锁定tuple时,如果当前元组有一个hot链,那么需要将hot链上的所有tuple都要进行锁定

对每一个hot链上的tuple进程锁定时,就会产生一个XLOG_HEAP2_LOCK_UPDATED 记录

描述结构体

typedef struct xl_heap_lock_updated
{
	TransactionId xmax;
	OffsetNumber offnum;
	uint8		infobits_set;
	uint8		flags;
} xl_heap_lock_updated;

xmax: 产生wal记录时的xmax

offnum: 被锁定tuple在page上的偏移量

infobits_set:infomask值

flags: 标志位

#define XLH_LOCK_ALL_FROZEN_CLEARED		0x01//VM文件相关

 

XLOG_HEAP2_NEW_CID        

wal级别是logical以上时,系统表的heap发生变化时,就会产生这个wal记录。

这个记录的意义不在于恢复数据库,而在于logigal decoding时分析系统表的变化而使用。

目前都logical decoding没有很了解,这个wal记录的解析,暂时留白。

 

 

回到概述页

展开阅读全文
加载中

作者的其它热门文章

打赏
0
0 收藏
分享
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部