语音交互

你知道苹果手机有几个麦克风吗？

 ·

语音交互（VUI）是指人与人/设备通过自然语音进行信息传递的过程。

语音交互的优势：

• 输入效率高。语音输入的速度是传统键盘输入方式的3倍以上。例如：语音电视选台、远场语音交互、语音支持组合指令输出（“播放周星驰电影、要免费的、4星以上的”）
• 使用门槛低。人类本就是先有语音再有文字，对于那些无法用文字交互的人来说，语音交互学习成本低，能带来极大的便利。例如：还不会打字的小孩，或者不方便打字的老人家
• 解放双手和双眼，更安全。例如：车载场景通过语音点播音乐和导航，医疗场景（医生在操作设备的时候，可能还需要记录病例）
• 传递更多的声学信息。声纹、性别、年龄、情感等。

语音交互的劣势

• 信息接收效率低。例如：文字能快速阅览概括信息，语音的话必须听完才能理解。
• 复杂的声学环境 
• 心理负担。交互方式不一样，例如：不太愿意通过语音来进行交互，特别是在一些公共场合

人机语音交互发展

• 1952年，贝尔实验室，阿拉伯数字识别系统Audrey
• 1962年，IBM-Shoebox
• ……
• 2011年，iphone4s，Siri问世
• 2014年，win8，Cortana
• 2014年，Amazon发布echo音箱
• 2016年，Google发布GoogleHome

应用场景

• 免提通话
• 电话/视频会议
• 手机——Siri、小爱同学
• 车载
• 智能音响——Amazon
• 家居——电视语音点台

总结起来就是：家里、车里、路上。

复杂的声学环境

现实中的语音交互系统，无一例外的会受到各种环境不利因素的影响，极大影响了交互成功率和用户体验。

• 方向性干扰
• 环境噪声（散射噪声）
• 远讲产生的混响
• 声学回声

痛点：人和机器都听不清

一个成功的语音交互产品，意味着对语音交互的场合和使用模式无约束。

前端语音信号处理的意义：

• 面对噪声、干扰、声学回声、混响等不利因素的影响，运用信号处理、机器学习等手段，提高目标语音的信噪比或主观听觉感受，增强语音交互后续环节的稳健性。
• 让人听清：更高的信噪比，更好的主观听觉感受和可懂度，更低的处理延时。
• 让机器听清：更好的声学模型适配，更高的语音识别性能。

总结：语音信号处理的目标，是为了让人和机器更容易听清语音，让语音交互更加自然和无约束。

针对不同的干扰因素，采用不同的信号处理算法

　　去回声——去混响——盲源分离——波束赋形——语音降噪——自动增益控制

声学回声消除

解混响

• 盲反卷积法[NeelyandAllen，1979]
  • 估计RIR的逆滤波器
• 加权预测误差[Takuya，2012]
  • 消除晚期混响，适用于单通道和多通道场景
• 麦克风阵列波束形成
• 深度学习用于解混响[Han，2015]
  • 通过DAE、DNN、LSTM或者GAN，实现频谱映射

语音分离

　　旨在解决“鸡尾酒会”问题

• 听觉场景分析法[HuandWang，2004]
  • 本质上是对人的听觉特性的模拟，具体手段是二分类+监督学习
• 非负矩阵分解[LeeandSeung，2001]
  • 基于统计独立假设，语音信号的稀疏性与谐波特性
• 多通道技术
  • fixbeamforming，adaptivebeamforming，ICA
• 基于深度学习的语音分离
  • Deepclustering [Hershey, 2016]
  • Deep attractor network [Luo and Chen, 2017]
  • Permutation invariant training [Yu, 2017]

波束形成

　　用于多通道语音增强、信号分离、去混响、声源定位

噪声抑制

　　消除或抑制环境噪声，增强语音信号

• 基于统计模型的方法
  • 最小均方误差MMSE、最大似然估计ML、最大后验估计MAP
• 基于子空间的方法
  • 利用语音和噪声的不相关性，借助特征值/奇异值分解手段分解到子空间处理
• 语音增强的核心在于噪声估计
  • 递归平均、最小值追踪、直方图统计是比较常用的噪声估计手段
• 基于深度学习的语音增强方法
  • 两大类方法：masking&&mapping
  • 通过DNN、CNN、RNN或者GAN，在频域或时域实现（多为频域）

幅度控制

　　自动调整信号的动态范围

常用的两种方法

• 动态范围控制（Dynamic Range Control）
• 自动增益控制（Automatic Gain Control）

前端信号处理的技术路线

信号处理与深度学习相结合的方案

处理依据——“规则+学习”

• 客观物理模型
• 语音信号的时域、频域、空域特性
• 海量音频数据先验信息

既保留了声音传播的物理规律和信号本身的时域、频域、空域特性，又引入了先验数据统计建模的方法。

优化准则：MSE准则

基于深度学习的前后端联合优化方案

处理依据——“端到端联合建模”

• 输入多通道麦克风信号，输出语音识别结果
• 利用近场数据，仿真得到海量的带有各种干扰的训练数据

将前端信号处理与后端ASR声学模型联合建模，用一套深度学习模型完成语音增强和语音识别任务。

优化准则：识别准确率

参考

深蓝学院《语音信号处理》课件

奥本海姆，《信号与系统》，电子工业出版社

奥本海姆，《离散时间信号处理》（Discrete Time Signal Processing, Third Edition）

赵力，《语音信号处理》，机械工业出版社

郑君里，《信号与系统》，电子工业出版社，高等教育本科国家级规范教材

韩纪庆，《语音信号处理》，机械工业出版社

张贤达，《现代信号处理》，清华大学出版社

张贤达，《矩阵分析与应用》，清华大学出版社

VanTrees，检测、估计和调制理论（IV)《Optimumarrayprocessing》

Signals and Systems: an Introduction to Analog and Digital Signal Processing. 1987 Lecture. Alan V. Oppenheim

推荐开源项目

Athena-signal：

Python for Signal Processing：《Python for Signal Processing: Featuring IPythonNotebooks》对应源码，包含信号处理12大类（采样定理、傅里叶变换、滤波器等）、随机过程15大类（高斯马尔科夫、最大似然等）

Speex：A Free Codec For Free Speech。专门语音压缩而设计的，包含超过9种算法：AEC、NS、VAD等，不过现在被Opus替代。

Google WebRTC：一个免费的开放式项目，通过简单的API为浏览器和移动应用程序提供实时通信（RTC）功能。

VOICEBOX: Speech Processing Toolbox for MATLAB：语音处理工具箱，由MATLAB程序组成。超过100个函数，包含语音增强、ASR等在内。