[发明专利]一种基于双通道语音转图像式情感识别方法

说明书

本发明提供一种基于双通道语音转图像式情感识别方法，涉及情感识别技术领域。本发明方法首先通过观看影视片段获取相应情感状态下的语音信号，然后进行预处理，获取第一通道图像信号和第二通道图像信号，再用两个残差式深度卷积神经网络分别提取两个通道图像信号的情感特征参数，并进行组合获得组合特征参数，最后将组合特征参数送入三层小波神经网络，实现对语音情感信号的情感识别。本发明方法充分利用了深度学习算法的优点，使整个情感识别过程更加接近人类情感识别，从而提高了情感识别的准确性。

技术领域

本发明涉及情感识别技术领域，尤其涉及一种基于双通道语音转图像式情感识别方法。

背景技术

随着机器人技术的不断发展，机器人应用任务的不断增多，人机交互任务也日趋复杂，仅仅依靠被动地接受用户的指令和控制远远不够，如果不能主动地理解用户的目的和意图，则无法推断用户的心理状态，较为缺乏感知和引导的能力。利用情感识别模型，赋予机器人拥有像人一样的情感认知能力，能够根据人的行为举止对其情感状态进行推断，理解人的行为和意图，从而实现高效、自然、和谐的智能人机交互。

情感识别是一个跨学科的研究领域，近年来受到越来越多的关注，比如可以通过语音信号、面部表情信号和生理参数来进行情感识别。对于语音情感识别，Nicholson等提取基频、功率谱和线性预测系数特征，并用ONOC(0ne-Class-In-One)的网络拓扑结构进行了语音情感识别。Park等用动态循环网络模拟人脑的非线性动态特性，他们用基因特征和一个循环神经网络进行4种情感的分析和识别，获得了较好的性能。Hozjan等将短时特征和长时特征结合起来，分别对不同的语种进行情感识别。颜永红和周瑜等采用非均匀子带滤波器来挖掘对语音情感有益的信息，加大了各类情感之间的鉴别性，提高了情感识别的性能。Zheng等提出了不完全稀疏最小二乘回归算法，改进了传统的最小二乘回归算法，能同时对标记和未标记语音数据进行情感识别。Attabi等在语音识别中引入锚模型的思想，改进了识别系统的性能。Wang等提出了一种新的傅立叶参数模型，利用语音质量的感知内容和一阶二阶的差异来进行独立于说话人的语音情感识别。Abdelwahab等研究探讨如何使用对抗性多任务训练来提取训练域与测试域之间的共同表示，并发现了从未标记的数据中提取尽可能多的有用信息是至关重要的。

用于识别的情感特征的优劣以及情感特征提取是否全面直接影响到情感识别的效果。目前语音情感特征主要有语句发音持续时间、基因频率、振幅能量、共振峰、声门波、谐波噪声比等，虽然已经提出了一些语音情感特征，但是大多是基于语音的韵律特征和音质特征，目前还没有一个人工设计的最优特征集。研究者可能会将越来越多的特征组合在一起，这可能会导致维度过高。此外，语音情感特征很容易受到说话者、内容和环境变化的影响。因此，语音情感识别技术的研究尚处于起步阶段，相应的基础理论和方法框架仍很欠缺。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于双通道语音转图像式情感识别方法，通过将语音信号转换成图像信号，然后利用深度学习技术，对情感信息进行识别。

为解决上述技术问题，本发明所采取的技术方案是：一种基于双通道语音转图像式情感识别方法，包括以下步骤：

步骤1、获取不同情感状态下的语音情感信号；

所述获取相应情感状态下的语音情感信号的具体方法为：首先利用麦克风接收不同情感状态下的语音数据，再通过计算机以一定采样频率和量化精度进行采样量化获得相应的语音情感信号；

步骤2、对获取的语音情感信号进行预加重、分帧加窗和端点检测预处理；

所述预加重采用一阶数字预加重滤波器实现，预加重滤波器的系数取值为0.93～0.97；所述分帧加窗为以帧长256点的标准进行分帧，并对分帧后的数据加汉明窗处理；所述端点检测利用基于能量和鉴别信息的语音端点检测算法进行；

步骤3、分别将步骤1获取的语音情感信号和步骤2预处理的语音情感信号转变为两个通道图像信号；