文档章节

能自我学习的AI 能辨识20种乐器声音

o
 ohuim
发布于 2018/07/11 17:31
字数 943
阅读 53
收藏 0

MIT发表称为PixelPlayer的人工智能系统,以影片的视觉元素代替人为卷标,让系统达到自我监督学习的目的,自动辨识声音与乐器间的关联,不只可用于音乐的编辑与后制,还能用于机器人研究领域,帮助其理解环境声音的来源。

MIT发展出名为PixelPlayer的人工智能系统,由算法自我监督观看60小时的音乐表演影片后,不需要人类介入训练,便可以自动辨识出20种乐器的声音,并且理解声音与画面中乐器的对应关系,提供使用者独立编辑声音的能力,对于旧音乐再制有很大的帮助。

MIT的计算机科学与人工智能实验室(CSAIL)发展出以深度学习辨识乐器表演影片,除了能分离出特定乐器声音外,还能对这些声音进行个别编辑的系统。这个称为PixelPlayer的系统,经过60小时的音乐会影片训练,可以辨识超过20种乐器,论文第一作者Hang Zhao提到,尽管该系统现在还无法细腻的处理类似声音之间的细微差异,像是PixelPlayer现在还分不出中音萨克斯风与男高音的差别,但只要有越多的训练数据,系统就能辨识越多种类的乐器。

PixelPlayer使用深度学习的方法,以类神经网络在影片里寻找数据的模式,系统包含3个类神经网络,其中一个用于影片的视觉分析,第二个用于影片的声音分析,第三个合成器能将特定的像素与声音关联,并独立分离出来。系统会先定位出影片中发出声音的区域,再将声音分离出来,并与这些像素关联。

研究团队提到,这个方法使用自我监督(Self-supervised)的深度学习,人工智能在没有人类介入告知声音与乐器的关联,就能自动理解之间的关系。过去分离声源的研究通常专注在声音上,而这也需要大量的人为标签,但PixelPlayer则是额外加入的视觉要素,以视觉元素取代人为卷标,以达到人工智能自我接督学习的目的。

Hang Zhao表示,他们原本预期系统的最佳案例,就只是让系统分辨不同乐器的独特声音,而现在却可以额外在空间中,以像素等级定位出乐器,这样的能力开启了更多可能,使用者可以直接透过点击影片中的乐器,进行声音编辑。

这项研究的贡献在于,有助于工程师提高旧音乐的录制音质,制作人甚至可以分开聆听不同乐器演奏的声音,除了可以单独调整个别音量外,还可以于后制阶段,更换演奏的乐器,另外,这项研究也能被应用在机器人开发上,使其能更好的理解环境物体所产生的声音,像是正在吠叫的狗或是发出引擎声的车辆。
文章出自:利博APP手机 http://jumbotex.com.tw/

© 著作权归作者所有

o
粉丝 0
博文 99
码字总数 61631
作品 0
东城
私信 提问
MIT又出新玩法,利用AI可轻松分离视频中的乐器声音

均衡器是大概是被用来在音乐中加入低音的一种常用方式,但近日,麻省理工学院计算机科学与人工智能实验室(CSAIL)的研究人员研发了一个更好的解决方案。他们的深度学习系统——PixelPlayer...

技术小能手
2018/07/09
0
0
MIT又一突破 用AI过滤音源 让音乐更悦耳

一般利用均衡器可以将音乐中的低音部分调出来,但是麻省理工学院的计算机科学和人工智能实验室(Computer Science and Artificial Intelligence Lab,CSAIL)的研究人员发现了更好的解决方案...

猎云网
2018/07/09
0
0
前沿 | Amazing!只需轻轻一点,即可编辑视频中的乐器声音

  选自MIT   作者:Adam Conner-Simons   机器之心编译   参与:路雪      MIT CSAIL 的研究者创造了一个深度学习系统,可以分离出乐器演奏视频中的乐器声音,还能改变音量。  ...

机器之心
2018/07/06
0
0
AI 进军音乐界!它已经创造出了前所未有的声音

在过去,人工智能听起来似乎是一个非常遥远的词,仿佛只存在于未来幻想的电影和书里面。“人工智能”的这种表达方式就可能会引发争议,人们会担心那些无脸的机器人将很快取代自己和同事的位置...

王练
2017/06/05
1K
8
Day 01:以100张图理解 Neural Network -- 观念与实践

转载 陈昭明先生大作 前言 这一波人工智慧(Articial Intelligence,AI)风潮方兴未艾,产学研界发表不少的具体研发成果,例如AlphaGo、机器人、无人驾驶自动车、ChatBot、人脸辨识、语音辨识....

readilen
2018/05/21
0
0

没有更多内容

加载失败,请刷新页面

加载更多

PostgreSQL 11.3 locking

rudi
今天
5
0
Mybatis Plus sql注入器

一、继承AbstractMethod /** * @author beth * @data 2019-10-23 20:39 */public class DeleteAllMethod extends AbstractMethod { @Override public MappedStatement injectMap......

一个yuanbeth
今天
10
1
一次写shell脚本的经历记录——特殊字符惹的祸

本文首发于微信公众号“我的小碗汤”,扫码文末二维码即可关注,欢迎一起交流! redis在容器化的过程中,涉及到纵向扩pod实例cpu、内存以及redis实例的maxmemory值,statefulset管理的pod需要...

码农实战
今天
4
0
为什么阿里巴巴Java开发手册中不建议在循环体中使用+进行字符串拼接?

之前在阅读《阿里巴巴Java开发手册》时,发现有一条是关于循环体中字符串拼接的建议,具体内容如下: 那么我们首先来用例子来看看在循环体中用 + 或者用 StringBuilder 进行字符串拼接的效率...

武培轩
今天
8
0
队列-链式(c/c++实现)

队列是在线性表功能稍作修改形成的,在生活中排队是不能插队的吧,先排队先得到对待,慢来得排在最后面,这样来就形成了”先进先出“的队列。作用就是通过伟大的程序员来实现算法解决现实生活...

白客C
今天
81
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部