文档章节

开源 | 哈佛大学九大自然语言处理开源项目(附论文)

Airship
 Airship
发布于 2017/08/20 22:08
字数 2131
阅读 43
收藏 0

选自 Github

机器之心编译

参与:杜夏德、李泽南、吴攀

在这篇文章中,我们盘点了哈佛大学开源的 9 大有关自然语言处理的项目。虽然里面的代码是研究代码(通常还有一些使用的注意事项),但也已经得到了哈佛研究团队之外的产业组织的应用,其相关项目的证书请参阅对应的 repo。

1.Sequence-to-Sequence Learning with Attentional Neural Networks(使用注意神经网络的序列到序列学习)

项目地址:https://github.com/harvardnlp/seq2seq-attn

在带有(可选)注意(attention)的标准 seq2seq 模型的 Torch 实现中,其编码器 - 解码器(encoder-decoder)模型是 LSTM。编码器可以是一个双向 LSTM。此外还能在字符嵌入(character embeddings)上运行一个卷积神经网络然后再运行一个 highway network,从而将字符(而不是输入的词嵌入)作为输入来使用。

该注意模型来源于发表于 EMNLP 2015 大会上的论文《Effective Approaches to Attention-based Neural Machine Translation》。我们使用该论文中的带有输入 - 反馈方式的全局通用注意力模型( global-general-attention model with the input-feeding approach)。输入 - 反馈作为可选项,也可去掉。

其中的字符模型来源于 AAAI 2016 上的论文《Character-Aware Neural Language Models》。

2.Visual Analysis for State Changes in RNNs(用于 RNN 中状态变化的视觉分析)

项目地址:https://github.com/HendrikStrobelt/lstmvis

循环神经网络(RNN),尤其是 LSTM,是学习一个隐藏其序列输入表征的密集黑箱测试的序列处理的有效工具。对这些模型有更好理解的研究者已经研究了隐藏状态表征中随时间发生的变化,并注意到有些可以解释但噪声明显的模式。

我们提出的 LSTMV 是用在 RNN 中的一款视觉分析工具,其关注的重点是理解这些隐藏的状态动态。这个工具允许用户选择一个关于局部状态变化的假设输入范围,以将这些状态变化匹配到一个大数据库中类似的模式上,并将这些结果与它们的域(domain)的结构注释(structural annotations)进行比对。我们为这个工具提供了数据来分析数据集上特定的隐藏状态属性,包括嵌套、短语结构、和弦进程(chord progressions)并展示如何使用这个工具为进一步的统计分析来隔离模式。

3.CNN for Text Classification(用于文本分类的 CNN)

项目地址::https://github.com/harvardnlp/sent-conv-torch

这个代码用 GPU 在 Torch 中实现了 Kim(2014)的句子卷积代码。它复制了现有数据库中的结果,并允许在任意其它的文本数据库上训练模型。

4.Im2Markup

项目地址:https://github.com/harvardnlp/im2markup

在最近图像字幕生成和光学字符识别(OCR)研究进展的基础上,我们提出了一个通用的基于深度学习的系统来将图像反编译成标识性置标语言(presentational markup)。虽然这个任务在 OCR 中已经得到了充分研究,但是我们用的是完全不同的数据驱动的方法。我们的模型不需要任何潜在的标记语言知识,仅在真实世界的样本数据中进行端到端(end-to-end)的训练即可。这个模型实现了一个卷积网络,该网络将文本和布局识别(text and layout recognition)与一个基于注意的神经机器翻译系统串联起来。为了训练和评估这个模型,我们引入了一个与 LaTeX 标记语言配对的经过了真实世界渲染的数学表达式的新数据库,以及一个与 HTML 代码片段配对的网页的合成数据库。试验结果显示该系统在两个数据集的精确标记生成上非常有效。而一个标准特定域的 LaTeX OCR 系统的精确度能达到 25%,我们的模型准确再现了样本中 75% 的渲染的图像。

5.ABS: Abstractive Summarization  

项目地址:https://github.com/harvardnlp/NAMAS

该项目包含了来自以下论文的 Abs. 神经抽象摘要系统(neural abstractive summarization system)。

这里发布的代码可以:

提取摘要数据集

训练神经摘要模型

用 ROUGE 构建评估集

调试提取的特征

6.LSTM Character-Aware Language Model

项目地址:https://github.com/yoonkim/lstm-char-cnn

代码来自 AAAI 2016 论文《Character-Aware Neural Language Models》。

这是一个仅建立在字符输入上的一个神经语言模型(NLM)。预测还是在词水平上进行。当输入一个 LSTM 循环神经网络语言模型(RNN-LM)时,该模型在字符上启用了一个卷积神经网络(CNN)。也可选择让该 CNN 的输出通过一个 Highway Network,这能提升表现。

多数基础代码来源于 Andrej Karpathy 的字符 RNN 实现:https://github.com/karpathy/char-rnn。

7.Neural Coreference Resolution (神经指代消解)

项目地址:https://github.com/swiseman/nn_coref

神经指代模型(Neural Coref Models),在论文 Learning Global Features for Coreference Resolution(Sam Wiseman, Alexander M. Rush, and Stuart M. Shieber, NAACL 2015)和 Learning Anaphoricity and Antecedent Ranking Features for Coreference Resolution(Sam Wiseman, Alexander M. Rush, Stuart M. Shieber, and Jason Weston. ACL 2015)中有所描述。

8.PAD: Phrase-structure After Dependencies  

项目地址:https://github.com/ikekonglp/PAD

PAD 是一款免费软件;你可以遵照由 Free Software Foundation 公布的 GNU 宽通用公共许可来修改 / 重发它;也可以二版的许可,或者后面其他版本的许可(看你自己的选择)。

发布 PAD 是希望它能变得有用,但是我们并不担保;

你应该会收到一份连同这个程序的 GNU 通用公共许可证;如果没有,写信给 Free Software Foundation,地址是 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA。

目标:

依存分析器(dependency parsers)快速、精确,并可以产生易于解释的结果,短语结构分析虽然很便捷但在很多语言处理任务中需要输入。

该 PAD 分析器能产生依存分析后的词组(phrases-after-dependencies)。给它依存分析的输出,它将会产生优化的约束短语结构分析。

9. 安卓系统中的神经机器翻译

项目地址:https://github.com/harvardnlp/nmt-android

基于 Sequence-to-Sequence Learning with Attentional Neural Networks 项目: http://github.com/harvardnlp/seq2seq-attn。和一篇文献:

http://www.people.fas.harvard.edu/~yoonkim/data/emnlp_2016.pdf

神经机器翻译(NMT)在翻译中提供了统计方式之外的另一种方式,同时也更加简便。然而,如果想要达到有竞争力的表现,神经机器翻译模型会变得非常巨大。本论文中我们考虑了将知识提炼(knowledge distillation)方式(Bucila 等人,2006;Hinton 等人,2015)加入机器神经翻译中,以解决其体量问题,这种方式已在其他领域中被证明能够成功减小神经模型的尺寸。我们证明了适用于词级预测的标准知识提炼方式在神经机器翻译中是有效的,同时也介绍了两种新的序列级知识提炼方式,它们可以进一步提升性能。令人有些惊讶的是,这些方式可以消除对定向搜索(beam search)的需求(即使应用在原始教师模型(teacher model)上)。我们最好的学生模型(student model)在性能稍有损失的情况下运行速度比最好的教师模型速度快 10 倍。它同时大大优于没有知识提炼的基准模型,在贪婪解码(greedy decoding)/ 定向搜索中达到 4.2/1.7 的 BLEU。当学生模型应用了权重修剪(weight pruning)的知识提炼结果时,其参数相比教师模型小 13 倍,同时 BLEU 减少 0.4。

教程

如果你是 Torch 新手,我们准备了 NLP 机器学习研究生班 CS287 的一套教材。这些笔记是由 Sam Wiseman 和 Saketh Rama 准备的,你可以由此获得对 Torch 核心方面的基本了解,接着快速转向一些高级的话题,比如内存使用、神经网络模块的细节和循环神经网络。

© 本文由机器之心编译,转载请联系本公众号获得授权

✄ ------------------------------------------------

加入机器之心(全职记者 / 实习生):hr@almosthuman.cn

投稿或寻求报道:editor@almosthuman.cn

广告 & 商务合作:bd@almosthuman.cn

本文转载自:http://www.myzaker.com/article/580854347f780bad33009cf4/

共有 人打赏支持
Airship
粉丝 38
博文 896
码字总数 19689
作品 0
南京
高级程序员
私信 提问
热点 | 六月Github热点项目库总结

【磐创AI导读】:Github是全球最大的开源代码社区。接下来磐创AI将为大家介绍几个六月Github热点项目库。 目录 介绍 Github热点项目库 Facebook's DensePose NLP Progress MLflow Salesforc...

技术小能手
07/12
0
0
本周 Github 精选:多款超赞 AI 开源项目,等你来 Star!

在碎片化阅读充斥眼球的时代,越来越少的人会去关注每篇论文背后的探索和思考。 在这个栏目里,你会快速 get 每篇精选论文的亮点和痛点,时刻紧跟 AI 前沿成果。 点击本文底部的「阅读原文」...

c9yv2cf9i06k2a9e
04/18
0
0
AI 影响因子 8 月份回顾:腾讯 AI Lab 再占榜首

「AI 影响因子」是雷锋网学术频道 AI 科技评论旗下数据库项目,旨在呈现国内企业研究院学术&开发实力,为高校学生及从业者提供在会议/期刊论文、数据集比赛及开发项目三大领域的横向对比参考...

汪思颖
09/04
0
0
身为数据科学家的你,岂能错过这些顶级的 Github 代码仓库 & Reddit 讨论串(六月榜单盘点)

雷锋网按:本文为 AI 研习社编译的技术博客,原标题 The Top GitHub Repositories & Reddit Threads Every Data Scientist should know (June 2018),作者为 PRANAV DAR。 翻译 | 付腾、程添...

雷锋字幕组
07/27
0
0
韩国小哥哥用Pytorch实现谷歌最强NLP预训练模型BERT | 代码

乾明 编译整理自 GitHub 量子位 报道 | 公众号 QbitAI 新鲜代码,还热乎着呢。 前几天,谷歌发布了一篇论文,介绍了一个超强的NLP预训练模型BERT。 不仅在SQuAD中摧枯拉朽,全面超越人类表现...

量子位
10/19
0
0

没有更多内容

加载失败,请刷新页面

加载更多

配置防盗链、访问控制Directory、访问控制FilesMatch

11月19日任务 11.25 配置防盗链 11.26 访问控制Directory 11.27 访问控制FilesMatch 通过限制referer来实现防盗链的功能 配置文件增加如下内容 <Directory /data/wwwroot/www.123.com> SetE...

zgxlinux
25分钟前
2
0
docker搭建redis环境

docker 搭建redis单机,主从,哨兵,集群环境: https://github.com/grace-233/docker-config-file/tree/master/redis...

grace_233
33分钟前
2
0
机器学习:从入门到晋级

摘要: 什么是机器学习,为什么学习机器学习,如何学习机器学习,这篇文章都告诉给你。 目前,人工智能(AI)非常热门,许多人都想一窥究竟。如果你对人工智能有所了解,但对机器学习(Machi...

阿里云官方博客
38分钟前
3
0
FFT数据为空

项目地址:https://github.com/zhangjianli/FlutterMusicPlugin

whoisliang
44分钟前
1
0
python中.whl文件下载,pandas

安装pandas一直报错,最后找到了这个网址,成功安装,分享一下给大家,下载的时候需要注意下载对应的python版本和电脑系统的whl文件 https://www.lfd.uci.edu/~gohlke/pythonlibs/ 这上面有很...

上官夏洛特
58分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部