新一代端侧声音过滤方案：VoiceFilter-Lite

原标题：新一代端侧声音过滤方案：VoiceFilter-Lite

文 / Quan Wang，Google Research 软件工程师

  • VoiceFilter 系统 https://arxiv.org/abs/1810.04826
  • Voice Match https://blog.google/products/assistant/tomato-tomahto-google-home-now-supports-multiple-users/
  • 注册个人声音 https://www.blog.google/products/assistant/more-ways-fine-tune-google-assistant-you/
  • VoiceFilter-Lite:Streaming Targeted Voice Separation for On-Device Speech Recognition https://arxiv.org/abs/2009.04323
  • 新版 VoiceFilter https://arxiv.org/abs/1810.04826
  • VoiceFilter-Lite https://arxiv.org/abs/2009.04323
  • TensorFlow Lite https://tensorflow.google.cn/lite

为了训练 VoiceFilter-Lite 模型，噪声语音的滤波器组与代表目标讲话者身份的嵌入向量（即 d-vector）一起作为输入馈送至网络。网络预测一个掩码，该掩码与输入逐元素相乘以生成增强的滤波器组。通过定义的损失函数在训练时消化增强后的滤波器组与干净语音的滤波器组之间的误差。

VoiceFilter-Lite 系统的模型架构

作为即插即用模型，如果讲话者未注册语音，则可以轻松绕过 VoiceFilter-Lite

解决抑制过度问题

  • SpecAugment https://ai.googleblog.com/2019/04/specaugment-new-data-augmentation.html

VoiceFilter-Lite 以两种全新方式解决抑制过度问题。第一，它在训练过程中使用了非对称损失函数，因此模型对抑制过度的耐受性要低于抑制不足。第二，它会在运行时预测噪声的类型，并根据预测结果自适应地调整抑制强度。

检测到重叠语音时，VoiceFilter-Lite 会自适应地应用更强的抑制强度

未来工作

致谢

本文所述研究由 Google 内部多个团队共同完成。贡献者包括 Quan Wang、Ignacio Lopez Moreno、Mert Saglam、Kevin Wilson、Alan Chiao、Renjie Liu、Yanzhang He、Wei Li、Jason Pelecanos、Philip Chao、Sinan Akay、John Han、Stephen Wu、Hannah Muckenhirn、Ye Jia、Zelin Wu、Yiteng Huang、Marily Nika、Jaclyn Konzelmann、Nino Tasca 和 Alexander Gruenstein。

责任编辑：

Thenews.cc