[发明专利]基于聚焦损失函数的指导型声学事件检测模型训练方法

说明书

本发明涉及基于聚焦损失函数的指导型声学事件检测模型训练方法，该方法包括：从音频数据训练集中提取声学特征；搭建指导型声学事件检测模型并根据所述声学特征解决声学事件检测任务和声学事件分类任务；指导型声学事件检测模型包括：复杂教师模型、轻量化学生模型和分类器部分；两阶段训练方式训练指导型声学事件检测模型。本申请实施例指导型声学事件检测模型能充分学习不同数据类型中所包含的特征信息，同时将复杂教师模型学习的特征信息蒸馏到轻量化学生模型中，减少了参数量，加快了模型收敛速度，在不同训练阶段有针对性学习简单样本与困难样本，改善了指导型声学事件检测模型对复杂类别事件的检测性能，提高了声学事件检测的鲁棒性。

技术领域

本发明涉及人工智能技术与声学事件检测技术领域，具体涉及基于聚焦 损失函数的指导型声学事件检测模型训练方法。

背景技术

随着人工智能与深度神经网络的快速发展以及相关技术应用的兴起，智 能语音技术已逐渐被应用到人们的日常生活中，包括音频场景分类，声学事 件检测，异常音频检测，网络音视频的应用需求也越来越多。其中，声学事 件检测技术是模仿人类辨识声学事件的能力，利用音频信号处理和深度学习 技术完成对声学事件的识别与分类，如说话声、洗碗声、闹铃声和宠物叫声 等。

声学事件检测(AED)是指预测发生在音频片段中的声学事件的类别以 及识别这些事件的开始和偏移时间戳。AED可应用于许多领域，如智能家居、 健康监测系统、无人驾驶、多媒体检索以及复杂场景下的语音识别等。如， 在远程音视频会议中，声学事件检测技术可以对会议人员所处环境中的声学 事件做出分辨，所检测出的声学信息可辅助语音增强技术、语音分离技术等 改善音视频通话的质量；在智慧城市安防以及城市巡检工作中，声学事件检 测技术可辅助分析环境中的声学信息，分辨是否存在潜在危险并及时做出警报或执行其他辅助措施；在工业设备异常声音检测中，声学事件检测技术能 及时监控工业设备的工作状态，避免设备长期异常而导致的重大损失。

简言之，声学事件检测技术无论在民用还是国防等方面都有着大量的应 用前景与空间。但当前的检测技术依旧存在着数据、技术等方面的难点，值 得我们去探索与研究。如，对于任意的一段音频片段，由于缺乏关于该音频 片段中所包含事件的先验知识，所以从弱标签数据中获得准确的持续时间是 困难的。在探究声学事件检测算法过程中，主要发现存在四点问题：

1、大规模训练数据的详细数据标签标注成本高、耗时且人为引入误差 复杂。因此探索利用大量无标签的训练数据以较少的弱标签数据来提高AED 系统性能成为新的方向。

2、部分待测目标事件自身差异性较大，即在一段音频片段中部分目标 事件持续时间或长或短，系统难以捕获准确的时间戳信息；

3、训练集中多类目标事件分布不均衡，导致所训模型检测性能不平衡， 对部分事件难以检测其类别以及准确的时间戳信息；

4、在实际应用中，不同环境下同一类别的数据存在域不平衡问题以及 多类事件重叠问题，声学事件检测系统性能仍然不佳，难以达到实际应用所 需要的精准度。

发明内容

本发明提供一种基于聚焦损失函数的指导型声学事件检测模型训练方 法，能够解决上述技术问题。

本发明解决上述技术问题的技术方案如下：

基于聚焦损失函数的指导型声学事件检测模型训练方法,包括：

从音频数据训练集中提取声学特征；音频数据训练集包括：强标签数据 集、弱标签数据集和无标签数据集；

搭建指导型声学事件检测模型并根据声学特征解决声学事件检测任务 和声学事件分类任务；指导型声学事件检测模型包括：复杂教师模型、轻量 化学生模型和分类器部分；

常规学习阶段和聚焦学习阶段的两阶段训练方式训练指导型声学事件 检测模型。