[发明专利]一种基于声谱图显著性检测的音频识别方法

权利要求书

1.一种基于声谱图显著性检测的音频识别方法，其特征是如下步骤进行：

步骤1、获取像素为M×N的n种不同声源的声谱图，每种声谱图获取m幅，从而获得m×n幅声谱图D＝{d₁,d₂,…,d_i,…,d_m×n}；d_i表示第i幅声谱图；i∈[1,m×n]；

对所述m×n幅声谱图D分别进行特征提取，获得基本特征集合；所述基本特征集合包括：RGBY色度特征集合C＝{C₁,C₂,…,C_i,…,C_m×n}、方向特征集合O＝{O₁,O₂,…,O_i,…,O_m×n}和亮度特征集合I＝{I₁,I₂,…,I_i,…,I_m×n}；C_i表示第i幅声谱图d_i的RGBY色度特征；O_i表示第i幅声谱图d_i的方向特征；I_i表示第i幅声谱图d_i的亮度特征；

步骤2、根据所述基本特征集合利用GBVS算法对所述第i幅声谱图d_i进行显著性提取，获得第i幅显著性图S_i；根据所述第i幅显著性图S_i利用主图分离方法提取所述第i幅声谱图d_i的主图SM_i，所述第i幅主图SM_i是由R基色图R(SM_i)、G基色图G(SM_i)和B基色图B(SM_i)构成的像素为l×l的三维基色图；从而获得m×n幅声谱图D的主图集合SM＝{SM₁,SM₂,…,SM_i,…,SM_m×n}；l＜M,l＜N；

步骤3、利用式(1)提取所述第i幅主图SM_i的层次对比图SMR_i，从而获得m×n幅声谱图D的层次对比图集合SMR＝{SMR₁,SMR₂,…,SMR_i,…,SMR_m×n}：

步骤4、利用式(2)获得所述第i幅层次对比图SMR_i的PCA特征图SMRP_i，从而获得m×n幅声谱图D的PCA特征图集合SMRP＝{SMRP₁,SMRP₂,…,SMRP_i,…,SMRP_m×n}：

SMRP_i＝(dim_j(A_i))^TSMR_i (2)

式(2)中，A_i表示所述第i幅层次对比图SMR_i的协方差矩阵，dim_j(A_i)表示所述协方差矩阵A_i的前j个特征向量所组成的矩阵；并有：

Ai=1lΣα=1l(dα(i))(dα(i))T---(3)]]>

式(3)中，表示第i幅层次对比图SMR_i中第α个像素值；α∈[1,l]；

以所述第i幅层次对比图SMR_i和第i幅PCA特征图SMRP_i作为特征描述集表征所述第i幅声谱图d_i的声源，从而获得所述m×n幅声谱图D中n类声源的所有特征描述集表征，所述n类声源中的每类声源均包含m个特征描述集；

步骤5、建立n种不同声源的GCNN声源模型；

步骤5.1、在深度卷积神经网络CNN中增加内部输入层，从而形成改进的深度卷积神经网络GCNN：

所述深度卷积神经网络CNN包含外部输入层、p个卷积层{C₁,C₂,…,C_p}、p个降采样层{S₁,S₂,…,S_p}以及全连接softmax分类层；所述p个卷积层{C₁,C₂,…,C_p}中的每个卷积层与p个降采样层{S₁,S₂,…,S_p}中的每个降采样层为互相交错设置，所述外部输入层连接第1个卷积层C₁；第p个降采样层S_p连接所述全连接softmax分类层；

在所述第1个卷积层C₁与第1个降采样层S₁之间设置所述内部输入层，从而构成所述改进的深度卷积神经网络GCNN；

步骤5.2、以所述层次对比图集合SMR＝{SMR₁,SMR₂,…,SMR_i,…,SMR_m×n}作为所述外部输入层的输入；以所述PCA特征图集合SMRP＝{SMRP₁,SMRP₂,…,SMRP_i,…,SMRP_m×n}作为所述内部输入层的输入；通过所述改进的深度卷积神经网络GCNN进行训练和建模，从而获得n种不同声源的GCNN声源模型；

步骤6、利用所述n种不同声源的GCNN声源模型识别待测试声谱图d'的声源：

步骤6.1、对所述待测试声谱图d'按照步骤2-步骤4依次进行处理，获得所述待测试声谱图d'的层次对比图SMR_d'和PCA特征图SMRP_d'；

步骤6.2、以所述待测试声谱图d'的层次对比图SMR_d'作为所述外部输入层的输入图像；以所述待测试声谱图d'的PCA特征图SMRP_d'作为所述内部输入层的输入图像；从而利用所述n种不同声源的GCNN声源模型识别所述待测试声谱图d'所属的声源。

2.根据权利要求1所述的基于声谱图显著性检测的音频识别方法，其特征是，所述步骤2中的主图分离方法是按如下步骤进行：

步骤2.1、假设所述第i幅显著性图S_i中包含Q个注意焦点，将所述Q个注意焦点进行降序排序获得注意焦点集合FOA＝{FOA₁，FOA₂，…，FOA_q,…,FOA_Q}；FOA_q表示第q个注意焦点；获取所述注意焦点集合FOA中每个注意焦点在所述第i幅显著性图S_i中各自的位置L＝{L₁,L₂,…,L_q,…,L_Q}；L_q表示所述第q个注意焦点FOA_q在所述第i幅显著性图S_i中的位置；1≤q≤Q；

步骤2.2、初始化q＝1；

步骤2.3、利用所述第q个注意焦点FOA_q在显著性图中的位置L_q，获得所述第q个注意焦点FOA_q在所述第i幅声谱图d_i中所对应的位置L_q'；

步骤2.4、提取所述对应的位置L_q'的色度特征，所述色度特征包括：红色特征R_q、绿色特征G_q、蓝色特征B_q和黄色特征Y_q；

步骤2.5、判断所述红色特征R_q是否满足在所述色度特征中为最大值，且所述色特征G_q、蓝色特征B_q和黄色特征Y_q均为0；若满足，则执行步骤2.6，否则，判断q＝Q是否成立；若成立，则表示所述第i幅显著性图S_i中没有有效声源；否则，将q+1的值赋给q，并返回步骤2.3执行；

步骤2.6、从与所述第i幅显著性图S_i所对应的第i幅声谱图d_i中分离出以l×l为边长，并以对应的位置L_q'为中心的正方框，判断所述正方框是否超出所述第i幅声谱图d_i的边界，若超出，则以所述超出的边界作为所述正方框的边，形成新的l×l的矩形框，以所述新的l×l的矩形框作为所述第i幅声谱图d_i的主图SM_i；否则，以所述正方框作为所述第i幅声谱图d_i的主图SM_i。