能自我学习的AI 能辨识20种乐器声音

原创
2018/07/11 17:31
阅读数 815

MIT发表称为PixelPlayer的人工智能系统,以影片的视觉元素代替人为卷标,让系统达到自我监督学习的目的,自动辨识声音与乐器间的关联,不只可用于音乐的编辑与后制,还能用于机器人研究领域,帮助其理解环境声音的来源。

MIT发展出名为PixelPlayer的人工智能系统,由算法自我监督观看60小时的音乐表演影片后,不需要人类介入训练,便可以自动辨识出20种乐器的声音,并且理解声音与画面中乐器的对应关系,提供使用者独立编辑声音的能力,对于旧音乐再制有很大的帮助。

MIT的计算机科学与人工智能实验室(CSAIL)发展出以深度学习辨识乐器表演影片,除了能分离出特定乐器声音外,还能对这些声音进行个别编辑的系统。这个称为PixelPlayer的系统,经过60小时的音乐会影片训练,可以辨识超过20种乐器,论文第一作者Hang Zhao提到,尽管该系统现在还无法细腻的处理类似声音之间的细微差异,像是PixelPlayer现在还分不出中音萨克斯风与男高音的差别,但只要有越多的训练数据,系统就能辨识越多种类的乐器。

PixelPlayer使用深度学习的方法,以类神经网络在影片里寻找数据的模式,系统包含3个类神经网络,其中一个用于影片的视觉分析,第二个用于影片的声音分析,第三个合成器能将特定的像素与声音关联,并独立分离出来。系统会先定位出影片中发出声音的区域,再将声音分离出来,并与这些像素关联。

研究团队提到,这个方法使用自我监督(Self-supervised)的深度学习,人工智能在没有人类介入告知声音与乐器的关联,就能自动理解之间的关系。过去分离声源的研究通常专注在声音上,而这也需要大量的人为标签,但PixelPlayer则是额外加入的视觉要素,以视觉元素取代人为卷标,以达到人工智能自我接督学习的目的。

Hang Zhao表示,他们原本预期系统的最佳案例,就只是让系统分辨不同乐器的独特声音,而现在却可以额外在空间中,以像素等级定位出乐器,这样的能力开启了更多可能,使用者可以直接透过点击影片中的乐器,进行声音编辑。

这项研究的贡献在于,有助于工程师提高旧音乐的录制音质,制作人甚至可以分开聆听不同乐器演奏的声音,除了可以单独调整个别音量外,还可以于后制阶段,更换演奏的乐器,另外,这项研究也能被应用在机器人开发上,使其能更好的理解环境物体所产生的声音,像是正在吠叫的狗或是发出引擎声的车辆。
文章出自:利博APP手机 http://jumbotex.com.tw/

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部