CS224n笔记8 RNN和语言模型
博客专区 > hankcs 的博客 > 博客详情
CS224n笔记8 RNN和语言模型
hankcs 发表于6个月前
CS224n笔记8 RNN和语言模型
  • 发表于 6个月前
  • 阅读 5
  • 收藏 0
  • 点赞 0
  • 评论 0

腾讯云 技术升级10大核心产品年终让利>>>   

摘要:  知识共享署名-非商业性使用-相同方式共享:码农场 » CS224n笔记8 RNN和语言模型
本文由码农场同步,最新版本请查看原文:http://www.hankcs.com/nlp/cs224n-rnn-and-language-models.html
CS224n笔记8 RNN和语言模型
这次课推导RNN,介绍各种训练技巧和拓展变种。梯度消失的推导很详细,用Python演示很直观,也给出了用裁剪防止梯度爆炸的直观解释。笔记里还补充了用于机器翻译时的5项改进。语言模型语言模型就是计算一个单词序列(句子)的概率($P(w_1,...,w_m)$)的模型。听上去很简单,做起来很难;听上去没什么用处,但用处非常多。比如在机器翻译中,判断译文序列中一种词序的自然程度高于另一种,判断一种用词选择优于另一种。传统语言模型句子的概率通常是通过待预测单词之前长度为$n$的窗口建立条件概率来预测,为了简化问题,...

继续阅读码农场 » CS224n笔记8 RNN和语言模型

原文链接http://www.hankcs.com/nlp/cs224n-rnn-and-language-models.html


感谢阅读本文,欢迎 查看原文或访问 码农场 获取更多内容

标签: CS224n RNN
共有 人打赏支持
粉丝 28
博文 219
码字总数 53149
作品 1
评论 (0)
×
hankcs
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: