数据量千万级的表修改表结构的处理方法
数据量千万级的表修改表结构的处理方法
hubert_yu 发表于10个月前
数据量千万级的表修改表结构的处理方法
  • 发表于 10个月前
  • 阅读 79
  • 收藏 0
  • 点赞 0
  • 评论 0

标题:腾讯云 新注册用户域名抢购1元起>>>   

       由于业务需求,用到了之前建表的预留字段,但是所需栏位的字段长度较长,需要修改预留字段的长度。在测试库上进行了修改测试,测试库的数量是3千万量级的,操作过程中数据库会进行批量锁死,处理时间大于两个小时(修改的字段是varchar类型,且长度从64扩展到512,耗时主要跟单条记录的数据宽度有关)。

       表的锁死是生产环境锁不能接受的,尤其是这么长的时间。于是建了一张新的表,满足扩展字段,修改字段长度的需求。然后选择在凌晨将凌晨以前的数据导入新表中,我是分成小段插入的新表,语句如下,有四万多条这样的语句,写个小demo提前生产.sql文件

INSERT INTO asset_record_copy (id, uid, uname,) SELECT id, uid, uname, FROM asset_record r WHERE AND r.time > '' LIMIT 19980000, 10000
INSERT INTO asset_record_copy (id, uid, uname,) SELECT id, uid, uname, FROM asset_record r WHERE AND r.time > '' LIMIT 19990000, 10000

     然后把之前的表名进行切换,重启新的服务就实现了改表结构的需求。在切换表名重启服务的过程中,会有两三分钟的停止对外服务。最后把拉下的不到一天的数据补上就好了。

共有 人打赏支持
粉丝 0
博文 6
码字总数 1398
×
hubert_yu
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: