文档章节

让机器耳濡目染:MIT提出跨模态机器学习模型

Airship
 Airship
发布于 2017/06/13 09:31
字数 1054
阅读 4
收藏 0

时间 2017-06-11 17:28:22  机器之心

原文  https://www.jiqizhixin.com/articles/015f1f8e-5dca-486a-961c-b4b4b76647df

主题 数据挖掘

不变性表示(invariant representation)是视觉、听觉和语言模型的核心,它们是数据的抽象结果。人们一直希望在视觉、有噪音的音频、有同义词的自然语言中获取观点和大量不变性表示。具有识别能力的不变性表示可以让机器从大量数据中学习特征,从而获得近似于人类的识别效果。但在机器学习领域,目前这一方面的研究进展有限。

对此,麻省理工学院(MIT)的 Yusuf Aytar 等人最近在一项研究中提出了全新的方法:研究人员通过多种关联信息的输入让机器学习了跨模态数据的通用表达方式。在文字语句「她跳入了泳池」中,同样的概念不仅出现在视觉上,也出现在了听觉上,如泳池的图像和水花飞溅的声音。如果这些跨模态的表示存在关联,那么它们的共同表示就具有鲁棒性。上文中的句子、泳池的图像和水声应当具有相同的内在表示。

论文:See, Hear, and Read: Deep Aligned Representations

链接:https://arxiv.org/abs/1706.00932

摘要

我们利用大量易于获得的同步数据,让机器学习系统学会了三种主要感官(视觉、声音和语言)之间共有的深度描述。通过利用时长超过一年的视频配音和百万条配和图片匹配的句子,我们成功训练了一个深度卷积神经网络对不同信息生成共同的表示。我们的实验证明,这种表示对于一些任务是有效的,如跨模式检索或在形态之间的传递分类。此外,尽管我们的神经网络只经过了图片+文字和图片+声音的配对训练,但它也在文本和声音之间建立了联系——这在训练中未曾接触。我们的模型的可视化效果揭示了大量自动生成,用于识别概念,并独立于模态的隐藏单元。

图 1. 共同表示:研究人员提出了深度跨模态卷积神经网络,它可以学习三种表征方式:视觉、听觉和文字阅读。在此之上,研究人员展示了输入信息可以激活网络中的隐藏单元,其中被激发的概念位置独立于模态。

图 2. 数据集:研究人员使用了大量未加工、无约束的数据对概念表达进行训练。

图 3. 学习通用表示方法:研究人员设计了一种能够同时接收图像、声音和文字输入的神经网络。该模型从模态专属表示(灰色)中产生一种通用表示,同时适用于不同模态(蓝色)。研究人员同时使用模型转换损失和配比排名损失来训练这个模型。模态专有层是卷积的,不同模态的共享层则是全连接的。

图 4. 跨模式反演示例:MIT 的研究人员展示了使用深度表示,跨声音、图像和文字三种模态的顶层反演

图 5. 隐藏单元的可视化:研究人员通过模型的可视化发现了一些隐藏单元。注意:频谱图(红/黄色的热区显示)之外,还有原始视频和与之对应的描述声音,后者仅用于可视化目的。

不变性表示可以让计算机视觉系统可以在不受约束的、现实世界环境中高效运行。在实验中,研究人员发现了一些联结表达方式具有更高的分类和检索性能,可以应对未遇到过的新情况。麻省理工学院的学者们相信,对于下一代机器感知而言,跨模态的表示具有重要意义。

本文转载自:http://www.tuicool.com/articles/2mqem2m

共有 人打赏支持
Airship
粉丝 39
博文 936
码字总数 19883
作品 0
南京
高级程序员
私信 提问
CVPR 2018 | 自监督对抗哈希SSAH:当前最佳的跨模态检索框架

  选自arXiv   作者:Chao Li等   机器之心编译   参与:Pedro、刘晓坤      近日,西安电子科技大学、优必选和腾讯 AI Lab 联合提出了一种新型跨模态哈希方法:SSAH 模型框架。...

机器之心
2018/04/14
0
0
MIT CSAIL最新论文:跨模态语音和视觉的对齐

  选自VB   原文|Kyle Wiggers   乌镇智库编译   目前看到的机器学习算法在单一的、重复度较高的任务中表现出色(比如机器合成脑肿瘤扫描图,面部识别等)。      麻省理工计算机...

乌镇智库
2018/09/19
0
0
德国汉堡科学院院士张建伟:人工智能交互的未来是多模态共享模式 | CCF-GAIR 2018

雷锋网按:2018 全球人工智能与机器人峰会(CCF-GAIR)在深圳召开,峰会由中国计算机学会(CCF)主办,雷锋网(公众号:雷锋网)、香港中文大学(深圳)承办,得到了宝安区政府的大力指导,是国...

张莉
2018/07/04
0
0
学界 | MIT提出像素级声源定位系统PixelPlayer:无监督地分离视频中的目标声源

  选自arxiv   作者:Hang Zhao、Chuang Gan、Andrew Rouditchenko、Carl Vondrick Josh McDermott、Antonio Torralba   机器之心编译   参与:刘晓坤、李泽南      相比单模态信...

机器之心
2018/04/12
0
0
CVPR 2018 | 逆视觉问答任务:一种根据回答与图像想问题的模型

  选自arXiv   作者:Feng Liu等人   机器之心编译   参与:李诗萌、路      一般而言,视觉问答都是输入图像和问题,并期望机器能给出合理的回答。而最近东南大学的研究者提出一...

机器之心
2018/06/17
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Linux Wireshark普通用户启动使用方案

当系统安装好Wireshark后请正常启动是否可以进行正常使用,如果不行请参考下列指导 向系统添加一个用户组 sudo groupadd wireshark //如提示此组存在可跳过 将指定用户添加到这个组中 sudo...

CHONGCHEN
今天
2
0
CSS 选择器参考手册

CSS 选择器参考手册 选择器 描述 [attribute] 用于选取带有指定属性的元素。 [attribute=value] 用于选取带有指定属性和值的元素。 [attribute~=value] 用于选取属性值中包含指定词汇的元素。...

Jack088
今天
2
0
数据库篇一

数据库篇 第1章 数据库介绍 1.1 数据库概述  什么是数据库(DB:DataBase) 数据库就是存储数据的仓库,其本质是一个文件系统,数据按照特定的格式将数据存储起来,用户可以对数据库中的数据...

stars永恒
今天
4
0
Intellij IDEA中设置了jsp页面,但是在访问页面时却提示404

在Intellij IDEA中设置了spring boot的jsp页面,但是在访问时,却出现404,Not Found,经过查找资料后解决,步骤如下: 在Run/Debug Configurations面板中设置该程序的Working Directory选项...

uknow8692
昨天
4
0
day24:文档第五行增内容|每月1号压缩/etc/目录|过滤文本重复次数多的10个单词|人员分组|

1、在文本文档1.txt里第五行下面增加如下内容;两个方法; # This is a test file.# Test insert line into this file. 分析:给文档后增加内容,可以用sed 来搞定;也可以用while do done...

芬野de博客
昨天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部