Hologres RoaringBitmap实践：千亿级画像数据秒级分析

业务介绍

Bitmap原理解释

▐  Bitmap数据结构

1. 用一个bit位来标记某个元素对应的Value，而Key即是该元素。
2. 如果一个数存在，则将这个数对应bit设置为1，否则置为0。

Bitmap的详细原理如下图：

1. 默认情况下每个用户都有自己对应的一个特征，比如user0对于特征0，user1对应特征1，等等；这种是常规的存储方式，如果这样存储，计算特征的时候一般要进行关联查询。

2. 我们需要把对应关系转换为Bitmap形式，Key为特征，特征背后对应的是一个Bit数组，如果用户拥有这个特征，那么对应的数组位Bit置为1。  这样只要给一个特征，就可以知道有多少用户拥有这个特征，而不需要遍历所有数据。

3. 当多个特征都通过Bitmap存储的时候，多个特征进行计算只需要通过位运算就可以，而不需要再关联查询，所以极大的提升了数据处理效率。

从以上原理图可以看出，Bitmap可以将数据转化为数组位存储，不仅可以节约存储空间，也可以进一步提高查询效率。

▐  RoaringBitmap

虽然Bitmap已经让数据的存储空间有了N倍的缩减，但Bitmap的问题在于，不管业务中实际有多少个元素，它必须包含元素的最大值个bit空间，如果元素的取值范围是0-10亿，那么就要有10个bit空间，如果元素的取值比较稀疏，例如10亿个值中只有极少数据满足需求，那么这样的稀糊数据会造成严重的空间浪费，且也会占用大量的内存计算，所以我们一般还需要对Bitmap进行压缩处理。

1. 数组容器（Array Container）：这种容器使用一个数组来存储整数，适用于稀疏数据的情况，即数据之间的间隔较大。例如，如果一个容器内的整数数量小于4096，就使用数组容器来存储，因为在这种情况下，使用数组容器比使用位图容器更节省空间。
2. 位图容器（Bitmap Container）：位图容器使用一个长度为65536的位数组（bit array）来存储数据，适用于稠密数据的情况，即数据之间的间隔较小。例如，如果一个容器内的整数数量大于4096，就使用位图容器来存储，因为在这种情况下，使用位图容器比使用数组容器更节省空间。
3. 运行长度编码容器（Run Container）：运行长度编码（Run-length Encoding，RLE）是一种简单的数据压缩算法，适用于连续重复数据的情况。在 Roaring Bitmap 中，如果一系列连续的整数都存在于位图中，那么可以使用一个运行长度编码容器来存储这些连续的整数的起始值和长度，从而节省空间。

RoaringBitmap 根据实际的数据情况，动态地选择最适合的容器类型，从而实现了既高效的数据存储，又快速的数据查询。在做位图计算（AND、OR、XOR）时，RoaringBitmap提供了相应的算法来高效地实现在多个容器之间的运算，使得RoaringBitmap无论在存储和计算性能上都表现优秀。详细的实现原理图如下：

在实际的使用中一般使用RoaringBitmap来，并且官方也提供了对应的Java库地址，可以直接拿来使用。

技术用户画像分析是对一个或多个指定用户群，通过可视化的方式，可以多维、立体的展示用户群的画像信息，让运营更好的理解人群，实现人群细分及对个性化运营策略的制定提供能力支撑；在进行数据分析时，更加便捷的获得人群的特征信息，从而更好的进行定量的分析。

业务画像分析流程：

1. 默认情况下平台有业务的所有标签在MaxCompute中存储，同时也会存储一份Bitmap的标签索引数据，再标签数据更新时构建。

2. 业务可以使用标签和其他用户相关的数据圈选人群，人群圈选完成后，也会对其构建一份Bitmap索引数据。

3. 圈选完人群后，就会进行画像分析，如果标签和人群都有Bitmap索引数据，就会通过Bitmap进行分析

▐  方案对比

而Hologres原生支持RoaringBitmap数据结构，特别适合大数据量级下的交并差运算，并且在画像分析的场景天然适合，因此我们最后选择了RoaringBitmap方案。虽然RoaringBitmap会带来额外的处理和优化步骤、索引构建过程，这可能会带来一定的初期成本上升。然而，在我们的场景中，数据更新不是那么频繁，数据量级也在可控范围内，因此这一成本上升在可接受范围。而且使用RoaringBitmap带来的效率提升非常明显，最终还是选择使用这一方案进行标签和人群加速。

▐  核心流程

1. 平台人员：筛选可加速的标签，然后配置在平台上，平台每天在标签数据更新完成后构建对应的标签Bitmap索引

2. 小二同学：

• 在圈人的时候，可以考虑勾选人群开启分析加速、或者核心空间会圈完之后会自动构建人群的Bitmap索引。

• 在进行人群洞察分析的时候，点击画像分析，弹出可分析的标签，可进行加速的标签会标记🚀，然后运营可以勾选对应的标签进行分析，在1亿以下的规模，加速标签可在10秒内出结果。

3. 技术平台：对平台小二筛选录入的标签进行构建Bitmap索引，人群构建Bitmap索引，画像分析的时候，执行RoaringBitmap的SQL查询操作。

▐  整体功能设计

1. 底层存储的是我们的各种明细数据和元数据，包括 标签的明细数据、人群的明细数据以及标签和人群是否加速的配置信息。 
2. 中间部分是业务逻辑：通过调度任务，每日检查人群数据是否完成，标签数据是否完成，然后触发对应的加速流程；当触发对应的调度流程之后，走到右边的调度DAG任务，先构建MaxCompute Bitmap索引，然后将数据同步至Hologres，并在Hologres构建RoaringBitmap
3. 最上面是Bitmap的应用场景：可以对有Bitmap索引的数据进行画像分析加速、模板分析加速、人群预估加速。

▐  数据模型设计

由于Hologres的RoaringBitmap相关函数只支持32位，而当前uid的设计是64位的数字，并且量级也比较大，因此需要对用户ID进行分桶设计。将uid拆为低位和桶号。借鉴阿里妈妈Dolphin引擎分桶设计经验，我们将uid直接通过位移拆分为level（高44位）以及normal_uid（低20位）, 通过将uid拆分，把相同level下的normal_uid放入同一个bitmap中即可实现人群的高度压缩，减少对数据的IO操作，加速后续的查询。

标签RoaringBitmap构建结果表预估：假设每个标签平均有10个标签值，每个表存储1000个标签，按照分桶，可以根据自己的业务进行计算。记录数 = (用户量  / 2^20) * (标签个数 * 标签值 )。因为记录通过分桶被极大的进行压缩，因此在Hologres的高性能查询支撑范围之内。

对于人群也是同理，数据量级会压缩 2^20倍，因此Hologres的查询效率也会提升。业务可以按照自己的量级进行分桶设计：业务应根据具体场景进行测试，确定每个桶的最佳用户数。一般桶的用户数越多，越耗费CU，速度可能有一定提升。

• 分表策略

目前按照：用户属性rb表、人群rb表都分16个表；都是对16进行取余，然后落到对应的表上。

Hologres内表：

Hologres外部表：

• 人群和标签表，新增字段

1. 标记人群是否开启加速

2. 是否加速完成

3. 最近一次的加速日期

public class AccelerateConfigDTO {    private Boolean isAccelerationCompleted;    private Boolean isAccelerationEnabled;    private String lastDs;}

▐  关键的业务SQL

• 在用Java提交MaxCompute任务的时候，记得设置如下参数

1. sql.mapper.split.size默认 256M，mapper过程根据此大小进行任务数量计算。调整小容量小一点，会增大任务并发处理数量加快速度。增加速度，同时需要资源数量会增多。

2. sql.submit.mode：改为script支持运行多条SQL

• 尽量选择以下几种类型的数据构建Bitmap

可枚举标签构建Bitmap

尽量选择性别、年龄、城市这种类型的有限的字段值构建bitmap，里面的value类型比较简单。MaxCompute中分桶以及构建bitmap的SQL如下：

说明：Bitmap通过在MaxCompute中构建UDF实现，不再本文中做详细描述

--MaxCompute SQL-- 创建表CREATE TABLE IF NOT EXISTS 空间名.demo表名(  field_value    STRING COMMENT '标签value值',  bucket         BIGINT COMMENT '分桶',  bitmap         BINARY COMMENT 'uid bitmap') COMMENT '用户基础属性标签bitmap'    PARTITIONED BY(  ds             STRING COMMENT '日期',  label_id       STRING COMMENT '标签ID')    LIFECYCLE 365;
-- 插入数据INSERT OVERWRITE TABLE 空间名.demo表名 PARTITION(ds='${bizdate}', label_id='${label_id}')SELECT COALESCE(${label_field}, 'NULL') as field_value     ,SHIFTRIGHT(CAST(COALESCE(${uidField}, '0') AS BIGINT), 20) as bucket     ,ENCODE(mc_rb_build_agg(CAST(COALESCE(${uidField}, '0') as BIGINT) & 1048575), 'utf-8') as bitmapFROM ${dataSource}.${dataTable}WHERE ds=MAX_PT('${dataSource}.${dataTable}')  AND CAST(COALESCE(${uidField}, '0') AS BIGINT) > 0GROUP BY COALESCE(${label_field}, 'NULL'), SHIFTRIGHT(CAST(COALESCE(${uidField}, '0') AS BIGINT), 20);

因为人群只包含uid的明细，构建起来会比较简单，并且快速。如下是在MaxCompute中分桶以及构建Bitamp，Bitmap通过udf构建。

--MaxCompute SQlCREATE TABLE IF NOT EXISTS 空间名.demo人群表名(  bucket          BIGINT COMMENT '分桶',  bitmap          BINARY COMMENT 'uid bitmap',  ds              STRING)    COMMENT '奥格圈人bitmap表'    PARTITIONED BY(  crowd_id STRING)    LIFECYCLE 365;
INSERT OVERWRITE TABLE 空间名.demo人群表名 PARTITION(crowd_id='${crowd_id}')SELECT SHIFTRIGHT(uid, 20) bucket     ,ENCODE(mc_rb_build_agg(cast(uid as BIGINT ) & 1048575), 'utf-8') as bitmap     ,dsFROM crowdSourceDemo   -- 原始人群表WHERE crowd_id = '${crowd_id}'GROUP BY SHIFTRIGHT(cast(uid as BIGINT ), 20),ds;

• Bitmap标签数据同步Hologers

通过在Hologres中创建外表的方式将MaxCompute中的标签数据导入至Hologres。

--Hologres SQLCREATE FOREIGN TABLE IF NOT EXISTS public.foreign_table(  field_value TEXT,  bucket INT8,  bitmap BYTEA,  ds TEXT,  label_id TEXT)server odps_serveroptions(project_name '${projectName}', table_name 'foreign_table_${index}');
BEGIN;CREATE TABLE IF NOT EXISTS public.holo_table(  field_value TEXT,  bucket INT8,  bitmap roaringbitmap,  ds TEXT,  label_id TEXT,  PRIMARY KEY (ds,label_id,bucket,field_value))PARTITION BY LIST(ds);call set_table_property('public.holo_table_${index}', 'distribution_key', 'field_value,bucket');call set_table_property('public.holo_table_${index}', 'clustering_key', 'ds,label_id');-- 表数据生命周期：365天call set_table_property('public.holo_table_${index}', 'time_to_live_in_seconds', '31536000');END;
--创建分区子表CREATE TABLE IF NOT EXISTS "public".holo_table_${bizdate} PARTITION OF "public".holo_table_${index} FOR VALUES IN ('${bizdate}');
--数据写入至HologresINSERT INTO "public".holo_table_${bizdate}SELECT field_value,       bucket,       bitmap,       ds,       label_idFROM public.foreign_table_${index}WHERE ds='${bizdate}' and label_id='${label_id}'    ON CONFLICT(ds,label_id,bucket,field_value) DO UPDATE SET (field_value, bucket, bitmap, ds, label_id) = ROW (excluded.*);

• Bitmap人群数据同步Hologres

通过在Hologres中创建外表的方式将MaxCompute中的人群数据导入至Hologres。

--Hologres SQLCREATE FOREIGN TABLE IF NOT EXISTS public.foreign_crowd_table(  bucket INT8,  bitmap BYTEA,  ds TEXT,  crowd_id TEXT)server odps_serveroptions(project_name '${projectName}', table_name 'foreign_crowd_table_${index}');
BEGIN;CREATE TABLE IF NOT EXISTS public.holo_crowd_table(  bucket INT8,  bitmap roaringbitmap,  ds TEXT,  crowd_id TEXT,  PRIMARY KEY (ds,bucket,crowd_id))    PARTITION BY LIST(crowd_id);call set_table_property('public.holo_crowd_table_${index}', 'distribution_key', 'bucket');call set_table_property('public.holo_crowd_table_${index}', 'clustering_key', 'ds,crowd_id');-- 表数据生命周期：365天call set_table_property('public.holo_crowd_table_${index}', 'time_to_live_in_seconds', '31536000');END;
DROP TABLE IF EXISTS "public".holo_crowd_table_${crowd_id};CREATE TABLE IF NOT EXISTS "public".holo_crowd_table_${index}_${crowd_id} PARTITION OF "public".holo_crowd_table_${index} FOR VALUES IN ('${crowd_id}');INSERT INTO "public".holo_crowd_table_${index}_${crowd_id}SELECT bucket,       bitmap,       ds,       crowd_idFROM public.foreign_crowd_table_${index}where crowd_id='${crowd_id}'

• 画像分析SQL

在Hologres中将进行画像分析。

--Hologres SQLSELECT ${label_alias} as "${label_name}"     ,sum(rb_and_cardinality(t1.bitmap, t2.bitmap)) as "人数"FROM    (      SELECT  bucket      ,bitmap      FROM public.holo_crowd_table      WHERE crowd_id='${crowd_id}'    ) as t1        JOIN    (      SELECT field_value      ,bucket      ,bitmap      FROM public.holo_table      WHERE ds= '${label_ds}'      AND label_id = '${label_id}'    ) as t2 on t1.bucket = t2.bucketGROUP BY ${label_alias}

说明：label_alias最简单的方式是t2.field_value；直接取构建的结果用来展示，复杂的则是要在代码层面做个映射关系，不同分级的中文含义。

▐  方案的关键部分说明

1. 用户识别码 (UID) 分桶设计：由于用户数量较大，决定在一个桶中放置多少用户变得尤为重要。业务应根据具体场景进行测试，确定每个桶的最佳用户数。一般桶的用户数越多，越耗费CU，速度可能有一定提升。

2. 分析结果异步返回设计：虽然Bitmap加速后80%以上的场景都可以在10秒内返回，但对于可能产生大量桶的偏好类标签，可能会超过接口超时时长限制，因此需要设计一种有效的异步机制。如果初次查询未能返回结果，系统将返回相应的任务ID (taskid)。然后，通过taskid，交互侧可以进行轮询以获取结果。

3. 构建任务调度设计：整个构建和同步过程都是耗时较长的任务，因此需要一个有效的调度机制。技术已经拥有一套基于有向无环图 (DAG) 的调度流程，在技术侧可以直接采用。

从3分钟到秒级，画像分析效率对比

也希望通过这篇文章的分享，帮助更多的业务利用Hologres RoaringBitmap能力，实现更快更准的画像分析。

大淘宝技术用户运营平台技术团队是一支最懂用户，技术驱动的年轻队伍，以用户为中心，通过技术创新提升用户全生命周期体验，持续为用户创造价值。

团队以创新为核心价值观之一，鼓励团队成员在工作中不断探索、实验和创新，以推动业界技术的进步和用户体验的提升。我们不仅关注当前业界领先的技术，更注重未来技术的预研和应用。团队成员会积极参与学术研究和技术社区，不断探索新的技术方向和解决方案。

团队立足体系化打造业界领先的用户增长基础设施，以媒体外投平台、ABTest平台、用户运营平台为代表的基础设施赋能阿里集团用户增长，日均处理数据量千亿规模、调用QPS千万级。在用户增长技术团队，我们提供“增长黑客”极客氛围和丰富的岗位选择，欢迎业界贤才加入。