CS224n研究热点4 词嵌入对传统方法的启发
博客专区 > hankcs 的博客 > 博客详情
CS224n研究热点4 词嵌入对传统方法的启发
hankcs 发表于7个月前
CS224n研究热点4 词嵌入对传统方法的启发
  • 发表于 7个月前
  • 阅读 1
  • 收藏 0
  • 点赞 0
  • 评论 0

【腾讯云】如何购买服务器最划算?>>>   

摘要:  知识共享署名-非商业性使用-相同方式共享:码农场 » CS224n研究热点4 词嵌入对传统方法的启发
本文由码农场同步,最新版本请查看原文:http://www.hankcs.com/nlp/cs224n-improve-word-embeddings.html
CS224n研究热点4 词嵌入对传统方法的启发
主讲人是一位发音特别纯正的印度小哥,只有微量口音。这篇论文挑战了对神经网络的迷信,展示了传统模型的生命力以及调参的重要性。词语表示方法以前的课程中讲过两大类得到dense词语表示的方法,一般认为NN模型更好:这里的PPMI也是一种利用共现矩阵的方法。但Levy指出,超参数和实现细节比算法本身更重要:Skip-Gram中的超参数有负例的采样个数,负采样算法中的平滑指数:对PMI的启发PMI中也有个类似负采样中的平滑指数的超参数:试验证明,取$\frac{3}{4}$恰好能得到最好的效果。var mathCon...

继续阅读码农场 » CS224n研究热点4 词嵌入对传统方法的启发

原文链接http://www.hankcs.com/nlp/cs224n-improve-word-embeddings.html


感谢阅读本文,欢迎 查看原文或访问 码农场 获取更多内容

标签: CS224n word2vec
共有 人打赏支持
粉丝 27
博文 220
码字总数 53391
作品 1
评论 (0)
×
hankcs
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: