通过并行数据以及TS学习来增强ASR的鲁棒性

2019/05/30 16:42
阅读数 44

ICASSP 2019 SLP-P11.11 IMPROVING NOISE ROBUSTNESS OF AUTOMATIC SPEECH RECOGNITION VIA PARALLEL DATA AND TEACHER-STUDENT LEARNING

简述

Teacher模型对三音素的离散概率分布用于指导Student模型。由于一般的ASR系统包含数千个三音素,处理一帧将计算数千的三音素的概率。并且,大多数输出概率向量中只有少数维数有较大的值,其余维数的值都非常小并且带噪,这会迷惑Student模型。

   

因此,使用逻辑选择方法,只保留输出后验概率向量中前k个最高的维数。这样只有最可信的信息被保留下来,用于知道学生模型。这一方法也能够减少将教师输出传递给学生模型的带宽。

算法

其中T为分布中用于控制平滑度的Temperature

   

这样能大大减少存储软目标所需存储空间以及训练时的IO

对向量进行增强也能提升学生模型对教师模型的置信度。

3LSTM3010输出维数,64fBank特征

800小时过阵列转录数据,7200小时过阵列无转录数据

目标场景为室内带多媒体噪声环境。

0-30dB抽取500-900ms RT60RIR进行加混响

  1. 使用800小时干净过阵列数据训练Teacher模型
  2. 对未转录的干净数据集加噪
  3. 未转录干净数据过教师模型,未转录噪声数据过学生模型,学生模型的准则函数为其输出与教师模型输出的KL散度(交叉熵)。
  4. 梯度下降

CE,与仅使用800小时带转录干净数据训练的教师模型相比,

多条件训练(TS)的WER下降4.26%

该文献的方法WER下降6.82%Temporature=1,且最优)

实验结果与结论

CE+sMBR,与使用1600小时干净带转录数据训练的教师模型相比,使用4800小时无转录数据+800小时转录数据,以该文献提出的方法训练的学生模型,能提升19.58%

   

原文

Mošner, Ladislav, Minhua Wu, Anirudh Raju, Sree Hari Krishnan Parthasarathi, Kenichi Kumatani, Shiva Sundaram, Roland Maas, and Björn Hoffmeister. "Improving noise robustness of automatic speech recognition via parallel data and teacher-student learning." arXiv preprint arXiv:1901.02348 (2019).

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部