[发明专利]一种基于自监督对比学习的半监督音频事件标注方法

说明书

本发明提出一种基于自监督对比学习的半监督音频事件标注方法，包括：提取无标注数据的梅尔对数能量谱特征，并对其做归一化；对每个频谱特征做两次随机增强生成两个特征；搭建自监督网络的编码器和投影层；计算样本输出间的相似度，通过排序确定正负样本；通过加强正负样本的对比训练网络；提取标注数据的梅尔对数能量谱特征，并对其做归一化；在训练好的编码器上加入新的分类器联合再训练；输出音频事件标注结果。本发明通过利用自监督对比学习，利用数据自身特点实现对无标注数据的监督学习，获得有效音频表征，然后利用少量标注数据再训练后生成音频中出现的事件类别。

技术领域

本发明涉及半监督音频事件标注方法，特别涉及一种包含对比学习的自监督方法。

背景技术

音频事件标注是从一段连续音频中检测出是否有某种音频事件发生，是音频感知理解的重要组成部分。

传统的音频事件标注算法一般基于全监督或经典的半监督框架，可以在标注数据充足的情况下达到较好的效果，但在标注数据有限而有大量无标注数据的实际应用中，对无标注数据的利用不充分。这种方法可以从无标注数据中自动学习到对音频事件标注有益的表征。该方法引入了自监督对比学习，利用数据自身的差异性作为自监督预训练的标注，实现一种无须手动标注的监督学习。在自监督预训练再迁移到音频事件标注系统再训练后，得到发生的音频事件类别。

发明内容

本发明的目的在于克服传统音频事件标注模型过度依赖标注数据，无法充分利用无标注数据的问题，通过引入自监督对比学习，实现一种无须手动标注的监督学习。再迁移到音频事件标注系统再训练后，检测出发生的音频事件类别。

为了实现上述目的，本发明提供了一种基于自监督对比学习的半监督音频事件标注方法，包括：

步骤1)、对用来训练自监督模型的无标注音频提取对数梅尔能量谱声学特征，并计算均值方差系数，对其做归一化；

步骤2)、对步骤1)的声学特征进行两次不同的数据增强；

步骤3)、构建两组结构相同的编码器和投影层，以步骤2)的声学特征分别作为输入，得到包含语义的高级音频表征；

步骤4)、计算一批数据中每两个音频表征的相似度。将每个音频与其他音频的相似度从小到大排序。由同一个音频增强的两个声学特征互为正样本，对每个音频相似度相对大的样本作为负样本；

步骤5)、加强正负样本高级表征的对比。通过减小正样本间的相似度，增大负样本间的相似度训练编码器和投影层。

步骤6)、对用来再训练全监督模型的标注音频提取对数梅尔能量谱声学特征，并计算均值方差系数，对其做归一化；

步骤7)、载入预训练的步骤3)的编码器，在其顶部构建分类器。以步骤6)的声学特征作为输入，以模型的分类输出与音频事件标注的损失最小化作为训练目标，训练网络。

步骤8)、利用步骤7)的网络输出音频事件标注结果。

上述技术方案中，所述步骤1)中，对用来训练自监督预训练模型的音频提取对数梅尔能量谱特征，其步骤一般为：对每个音频分别分帧加窗、对每一帧计算傅里叶变换得到频谱、计算通过梅尔滤波器提取的频谱，计算频谱的对数能量。此特征的维度为T×F，其中T为帧数，由窗长和窗移决定，F为频点数，由梅尔滤波器的数量决定。

上述技术方案中，所述步骤2)进一步包括，对每个音频的对数梅尔频谱分别做两次方法相同但参数随机的数据增强。数据增强方法为先对频谱加高斯噪声，再在时域和频域上分别对频谱加长度为t和f的掩码，其中t不超过25，f不超过15。