[发明专利]基于卷积神经网络的环境声音识别方法及系统

权利要求书

1.一种基于卷积神经网络的环境声音识别方法，其特征在于，将从原始音频中提取得到的梅尔能量谱特征进行混合构建得到样本库，用于对卷积神经网络进行训练，最终以训练后的卷积神经网络进行环境声音的识别；

所述的混合构建是指：从梅尔能量谱特征中随机选出两个样本，将两个样本按比率混合构建虚拟训练样本，以两个样本的混合比率为训练目标，通过利用特征的线性插值和相关目标的线性插值扩展训练分布增加训练样本的多样性；

所述的提取，包括以下步骤：

①对原始音频进行分帧后对每一帧进行FFT变换得到声音的幅度谱其中：s(n)为声音信号，w为窗函数，1≤k≤N-1，经平方处理得到声音的能量谱P(k)＝|S(k)|²；

②利用梅尔滤波器组将声音的能量谱转换到梅尔频率表示，具体为：其中：f为时域频率、f_m为梅尔滤波器中心频率，

③对得到的梅尔能量谱进行非线性变换：然后对梅尔能量谱进行分割，得到若干个梅尔能量谱片段，即梅尔能量谱特征。

2.根据权利要求1所述的方法，其特征是，所述的梅尔能量谱，进一步使用基于能量的方法移除微弱音频，即通过预设阈值，移除连续两帧梅尔能量谱能量均值小于预设阈值的音频帧。

3.根据权利要求1所述的方法，其特征是，所述的原始音频，经时间延伸处理和音调转换处理以扩充训练样本以增强模型的泛化性能，其中：

所述的时间延伸处理是指：加快或放慢声音而不改变声音的音调并得到新的样本；

所述的音调转换处理是指：升高或降低音调而不改变声音的时长并得到新的样本。

4.根据权利要求1所述的方法，其特征是，所述的卷积神经网络首先对梅尔能量谱特征进行基本特征提取，然后分别对频域和时域进行特征提取，最后提取时频的联合特征。

5.根据权利要求1或4所述的方法，其特征是，所述的卷积神经网络包括：八个卷积层和两个全连接层，其中：每两个卷积层后通过设置一最大池化层进行降维；该卷积神经网络采用混合构建得到的样本库训练。

6.根据权利要求5所述的方法，其特征是，所述的卷积神经网络包括：

第一卷积层Conv1卷积核尺寸为3×7，步长为1×1，卷积核数量为32；

第二卷积层Conv2卷积核尺寸为3×5，步长为1×1，卷积核数量为32；前两卷积层使用尺寸较大的卷积核，进行基本的特征提取；

第一最大池化层Pool1卷积核尺寸为4×3，步长为4×3，用于降低特征维度；

第三卷积层Conv3和第四卷积层Conv4卷积核尺寸为3×1，步长为1×1，卷积核数量为64，用于提取高层频域特征；

第二最大池化层Pool2卷积核尺寸为4×1，步长为4×1，降低频域维度；

第五卷积层Conv5和第六卷积核Conv6卷积核尺寸为1×3，步长为1×1，卷积核数量为128，用于提取高层时域特征；

第三最大池化层Pool3卷积核尺寸为1×3，步长为1×3，降低时域维度；

第七卷积层Conv7和第八个卷积层Conv8卷积核尺寸为3×3，步长为1×1，卷积核数量为256，用于提取时频特征；

第四最大池化层Pool4卷积核尺寸为2×2，步长为2×2；

第一全连接层FC1有512个节点，第二全连接层FC2，即输出层节点个数需根据类别数量而确定。

7.根据权利要求1所述的方法，其特征是，所述的混合具体为：其中：x_i和x_j是随机选择的样本，y_i和y_j是对应的one-hot类型训练标签，和是所构建的虚拟训练样本和对应的训练标签。

8.一种实现权利要求1～7中任一所述方法的系统，其特征在于，包括：特征提取模块、混合构建模块以及网络训练模块，其中：特征提取模块从原始音频中提取得到梅尔能量谱片段并输出至混合构建模块，混合构建模块对梅尔能量谱片段及其one-hot标签混合生成训练样本并输出至网络训练模块，网络训练模块使用混合样本进行训练后再次接收待测音频并输出对应的类别预测概率分布。