[发明专利]一种基于声谱图显著性检测的音频识别方法

摘要

发明公开了一种基于声谱图显著性检测的音频识别方法，其特征是如下步骤进行1获取不同声源的声谱图并进行特征提取，获得基本特征集合；2、利用GBVS算法获得显著性图，再利用主图分离方法提取主图；3、提取层次对比图；4、获得PCA特征图；5建立不同声源的GCNN声源模型；6、利用GCNN声源模型识别待测试声谱图的声源。本发明能有效表征复杂环境下未知音频类型的特征信息，同时能够实现快速自动的音频识别。

主权项

一种基于声谱图显著性检测的音频识别方法，其特征是如下步骤进行：步骤1、获取像素为M×N的n种不同声源的声谱图，每种声谱图获取m幅，从而获得m×n幅声谱图D＝{d1,d2,…,di,…,dm×n}；di表示第i幅声谱图；i∈[1,m×n]；对所述m×n幅声谱图D分别进行特征提取，获得基本特征集合；所述基本特征集合包括：RGBY色度特征集合C＝{C1,C2,…,Ci,…,Cm×n}、方向特征集合O＝{O1,O2,…,Oi,…,Om×n}和亮度特征集合I＝{I1,I2,…,Ii,…,Im×n}；Ci表示第i幅声谱图di的RGBY色度特征；Oi表示第i幅声谱图di的方向特征；Ii表示第i幅声谱图di的亮度特征；步骤2、根据所述基本特征集合利用GBVS算法对所述第i幅声谱图di进行显著性提取，获得第i幅显著性图Si；根据所述第i幅显著性图Si利用主图分离方法提取所述第i幅声谱图di的主图SMi，所述第i幅主图SMi是由R基色图R(SMi)、G基色图G(SMi)和B基色图B(SMi)构成的像素为l×l的三维基色图；从而获得m×n幅声谱图D的主图集合SM＝{SM1,SM2,…,SMi,…,SMm×n}；l＜M,l＜N；步骤3、利用式(1)提取所述第i幅主图SMi的层次对比图SMRi，从而获得m×n幅声谱图D的层次对比图集合SMR＝{SMR1,SMR2,…,SMRi,…,SMRm×n}：步骤4、利用式(2)获得所述第i幅层次对比图SMRi的PCA特征图SMRPi，从而获得m×n幅声谱图D的PCA特征图集合SMRP＝{SMRP1,SMRP2,…,SMRPi,…,SMRPm×n}：SMRPi＝(dimj(Ai))TSMRi   (2)式(2)中，Ai表示所述第i幅层次对比图SMRi的协方差矩阵，dimj(Ai)表示所述协方差矩阵Ai的前j个特征向量所组成的矩阵；并有：Ai=1lΣα=1l(dα(i))(dα(i))T---(3)]]>式(3)中，表示第i幅层次对比图SMRi中第α个像素值；α∈[1,l]；以所述第i幅层次对比图SMRi和第i幅PCA特征图SMRPi作为特征描述集表征所述第i幅声谱图di的声源，从而获得所述m×n幅声谱图D中n类声源的所有特征描述集表征，所述n类声源中的每类声源均包含m个特征描述集；步骤5、建立n种不同声源的GCNN声源模型；步骤5.1、在深度卷积神经网络CNN中增加内部输入层，从而形成改进的深度卷积神经网络GCNN：所述深度卷积神经网络CNN包含外部输入层、p个卷积层{C1,C2,…,Cp}、p个降采样层{S1,S2,…,Sp}以及全连接softmax分类层；所述p个卷积层{C1,C2,…,Cp}中的每个卷积层与p个降采样层{S1,S2,…,Sp}中的每个降采样层为互相交错设置，所述外部输入层连接第1个卷积层C1；第p个降采样层Sp连接所述全连接softmax分类层；在所述第1个卷积层C1与第1个降采样层S1之间设置所述内部输入层，从而构成所述改进的深度卷积神经网络GCNN；步骤5.2、以所述层次对比图集合SMR＝{SMR1,SMR2,…,SMRi,…,SMRm×n}作为所述外部输入层的输入；以所述PCA特征图集合SMRP＝{SMRP1,SMRP2,…,SMRPi,…,SMRPm×n}作为所述内部输入层的输入；通过所述改进的深度卷积神经网络GCNN进行训练和建模，从而获得n种不同声源的GCNN声源模型；步骤6、利用所述n种不同声源的GCNN声源模型识别待测试声谱图d'的声源：步骤6.1、对所述待测试声谱图d'按照步骤2‑步骤4依次进行处理，获得所述待测试声谱图d'的层次对比图SMRd'和PCA特征图SMRPd'；步骤6.2、以所述待测试声谱图d'的层次对比图SMRd'作为所述外部输入层的输入图像；以所述待测试声谱图d'的PCA特征图SMRPd'作为所述内部输入层的输入图像；从而利用所述n种不同声源的GCNN声源模型识别所述待测试声谱图d'所属的声源。