BERT 基础

2020/09/23 13:11
阅读数 40

BERT,Bidirectional Encoder Representations from Transformers,来自 Google AI Language 的论文:

[BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding](https://arxiv.org/pdf/ 1810.04805.pdf)

是在和 BooksCorpus 集上预训练模型,然后应用于其他具体任务上时再进行微调。

BERT 模型可以用于问答系统,情感分析,垃圾邮件过滤,命名实体识别,文档聚类等多种任务中,当时 BERT 模型在 11 个 NLP 任务上的表现刷新了记录,在自然语言处理领域引起了不小的轰动,这些任务包括问答 Question Answering(SQuAD v1.1),推理 Natural Language Inference(MNLI)等:

GLUE :General Language Understanding Evaluation
MNLI :Multi-Genre Natural Language Inference
SQuAD v1.1 :The Standford Question Answering Dataset
QQP : Quora Question Pairs 
QNLI : Question Natural Language Inference
SST-2 :The Stanford Sentiment Treebank
CoLA :The Corpus of Linguistic Acceptability 
STS-B :The S
展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部