《自然语言处理实战入门》深度学习 ---- 预训练模型的使用(ALBERT)

原创
10/11 07:36
阅读数 24


简介

bert 回顾

bert 两阶段 模式:预训练 + 微调

BERT 的总体预训练和微调程序。 除了输出层,在预训练和微调中都使用相同的体系结构。 相同的预训练模型参数用于初始化不同下游任务的模型。 在微调期间,所有参数都将进行微调。 [CLS]是在每个输入示例前添加的特殊符号,而[SEP]是特殊的分隔符(例如,分隔问题/答案)。

本文同步分享在 博客“shiter”(CSDN)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部