CS224n笔记11 GRU和NMT的进一步话题
博客专区 > hankcs 的博客 > 博客详情
CS224n笔记11 GRU和NMT的进一步话题
hankcs 发表于11个月前
CS224n笔记11 GRU和NMT的进一步话题
  • 发表于 11个月前
  • 阅读 2
  • 收藏 0
  • 点赞 0
  • 评论 0

移动开发云端新模式探索实践 >>>   

摘要:  知识共享署名-非商业性使用-相同方式共享:码农场 » CS224n笔记11 GRU和NMT的进一步话题
本文由码农场同步,最新版本请查看原文:http://www.hankcs.com/nlp/cs224n-gru-nmt.html
CS224n笔记11 GRU和NMT的进一步话题
从动机层面直观地充实了GRU和LSTM的理解,介绍了MT的评测方法,讨论了NMT中棘手的大词表问题和一些常见与最新的解决办法。深入GRU 把GRU再详细讲一讲。RNN的梯度消失就不赘述了,红线连乘多次下溢出。而GRU额外添加了一些“捷径”红线。Update Gate用来自适应学习应该把多少注意力放到前一个隐藏层状态上。Reset Gate自适应地删除不需要的连接。RNN寄存器朴素RNN读取所有寄存器,运算后存入所有寄存器,没有灵活性。GRU寄存器门多了之后,就可以灵活地选择读取部分寄存器,执行运算...

继续阅读码农场 » CS224n笔记11 GRU和NMT的进一步话题

原文链接http://www.hankcs.com/nlp/cs224n-gru-nmt.html


感谢阅读本文,欢迎 查看原文或访问 码农场 获取更多内容

标签: CS224n
  • 打赏
  • 点赞
  • 收藏
  • 分享
共有 人打赏支持
粉丝 32
博文 222
码字总数 53918
作品 1
评论 (0)
×
hankcs
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: