文档章节

让机器耳濡目染:MIT提出跨模态机器学习模型

Airship
 Airship
发布于 2017/06/13 09:31
字数 1054
阅读 3
收藏 0

时间 2017-06-11 17:28:22  机器之心

原文  https://www.jiqizhixin.com/articles/015f1f8e-5dca-486a-961c-b4b4b76647df

主题 数据挖掘

不变性表示(invariant representation)是视觉、听觉和语言模型的核心,它们是数据的抽象结果。人们一直希望在视觉、有噪音的音频、有同义词的自然语言中获取观点和大量不变性表示。具有识别能力的不变性表示可以让机器从大量数据中学习特征,从而获得近似于人类的识别效果。但在机器学习领域,目前这一方面的研究进展有限。

对此,麻省理工学院(MIT)的 Yusuf Aytar 等人最近在一项研究中提出了全新的方法:研究人员通过多种关联信息的输入让机器学习了跨模态数据的通用表达方式。在文字语句「她跳入了泳池」中,同样的概念不仅出现在视觉上,也出现在了听觉上,如泳池的图像和水花飞溅的声音。如果这些跨模态的表示存在关联,那么它们的共同表示就具有鲁棒性。上文中的句子、泳池的图像和水声应当具有相同的内在表示。

论文:See, Hear, and Read: Deep Aligned Representations

链接:https://arxiv.org/abs/1706.00932

摘要

我们利用大量易于获得的同步数据,让机器学习系统学会了三种主要感官(视觉、声音和语言)之间共有的深度描述。通过利用时长超过一年的视频配音和百万条配和图片匹配的句子,我们成功训练了一个深度卷积神经网络对不同信息生成共同的表示。我们的实验证明,这种表示对于一些任务是有效的,如跨模式检索或在形态之间的传递分类。此外,尽管我们的神经网络只经过了图片+文字和图片+声音的配对训练,但它也在文本和声音之间建立了联系——这在训练中未曾接触。我们的模型的可视化效果揭示了大量自动生成,用于识别概念,并独立于模态的隐藏单元。

图 1. 共同表示:研究人员提出了深度跨模态卷积神经网络,它可以学习三种表征方式:视觉、听觉和文字阅读。在此之上,研究人员展示了输入信息可以激活网络中的隐藏单元,其中被激发的概念位置独立于模态。

图 2. 数据集:研究人员使用了大量未加工、无约束的数据对概念表达进行训练。

图 3. 学习通用表示方法:研究人员设计了一种能够同时接收图像、声音和文字输入的神经网络。该模型从模态专属表示(灰色)中产生一种通用表示,同时适用于不同模态(蓝色)。研究人员同时使用模型转换损失和配比排名损失来训练这个模型。模态专有层是卷积的,不同模态的共享层则是全连接的。

图 4. 跨模式反演示例:MIT 的研究人员展示了使用深度表示,跨声音、图像和文字三种模态的顶层反演

图 5. 隐藏单元的可视化:研究人员通过模型的可视化发现了一些隐藏单元。注意:频谱图(红/黄色的热区显示)之外,还有原始视频和与之对应的描述声音,后者仅用于可视化目的。

不变性表示可以让计算机视觉系统可以在不受约束的、现实世界环境中高效运行。在实验中,研究人员发现了一些联结表达方式具有更高的分类和检索性能,可以应对未遇到过的新情况。麻省理工学院的学者们相信,对于下一代机器感知而言,跨模态的表示具有重要意义。

本文转载自:http://www.tuicool.com/articles/2mqem2m

共有 人打赏支持
Airship
粉丝 38
博文 875
码字总数 18996
作品 0
南京
高级程序员
MIT CSAIL最新论文:跨模态语音和视觉的对齐

  选自VB   原文|Kyle Wiggers   乌镇智库编译   目前看到的机器学习算法在单一的、重复度较高的任务中表现出色(比如机器合成脑肿瘤扫描图,面部识别等)。      麻省理工计算机...

乌镇智库
09/19
0
0
CVPR 2018 | 自监督对抗哈希SSAH:当前最佳的跨模态检索框架

  选自arXiv   作者:Chao Li等   机器之心编译   参与:Pedro、刘晓坤      近日,西安电子科技大学、优必选和腾讯 AI Lab 联合提出了一种新型跨模态哈希方法:SSAH 模型框架。...

机器之心
04/14
0
0
德国汉堡科学院院士张建伟:人工智能交互的未来是多模态共享模式 | CCF-GAIR 2018

雷锋网按:2018 全球人工智能与机器人峰会(CCF-GAIR)在深圳召开,峰会由中国计算机学会(CCF)主办,雷锋网(公众号:雷锋网)、香港中文大学(深圳)承办,得到了宝安区政府的大力指导,是国...

张莉
07/04
0
0
学界 | MIT提出像素级声源定位系统PixelPlayer:无监督地分离视频中的目标声源

  选自arxiv   作者:Hang Zhao、Chuang Gan、Andrew Rouditchenko、Carl Vondrick Josh McDermott、Antonio Torralba   机器之心编译   参与:刘晓坤、李泽南      相比单模态信...

机器之心
04/12
0
0
CVPR 2018 | 逆视觉问答任务:一种根据回答与图像想问题的模型

  选自arXiv   作者:Feng Liu等人   机器之心编译   参与:李诗萌、路      一般而言,视觉问答都是输入图像和问题,并期望机器能给出合理的回答。而最近东南大学的研究者提出一...

机器之心
06/17
0
0

没有更多内容

加载失败,请刷新页面

加载更多

创建第一个react项目

sudo npm i -g create-react-app@1.5.2 create-react-app react-app cd react-apprm -rf package-lock.jsonrm -rf node_modules #主要是为了避免报错npm installnpm start......

lilugirl
51分钟前
1
0
在浏览器中进行深度学习:TensorFlow.js (八)生成对抗网络 (GAN)

Generative Adversarial Network 是深度学习中非常有趣的一种方法。GAN最早源自Ian Goodfellow的这篇论文。LeCun对GAN给出了极高的评价: “There are many interesting recent development...

naughty
今天
0
0
搬瓦工镜像站bwh1.net被DNS污染,国内打不开搬瓦工官网

今天下午(2018年10月17日),继搬瓦工主域名bandwagonhost.com被污染后,这个国内的镜像地址bwh1.net也被墙了。那么目前应该怎么访问搬瓦工官网呢? 消息来源:搬瓦工优惠网->搬瓦工镜像站b...

flyzy2005
今天
2
0
SpringBoot自动配置

本篇介绍下,如何通过springboot的自动配置,将公司项目内的依赖jar,不需要扫描路径,依赖jar的情况下,就能将jar内配置了@configuration注解的类,创建到IOC里面 介绍下开发环境 JDK版本1.8 spr...

贺小五
今天
3
0
命令行新建Maven多项目

参考地址 # DgroupId 可以理解为包名# DartifactId 可以理解为项目名mvn archetype:generate -DgroupId=cn.modfun -DartifactId=scaffold -DarchetypeArtifactId=maven-archetype-quickst......

阿白
今天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部