[发明专利]一种声学事件的定位检测方法及装置

说明书

本发明公开了一种声学事件的定位检测方法及装置，其方法：获取声学事件的多通道音频数据；将声学事件的多通道音频数据输入训练好的定位检测模型，获取估计的声源方位信息和类别信息；其中，所述定位检测模型的训练包括：选取音频数据库，从音频数据库中获取包含声源方位信息和类别信息的多通道音频数据；按照预设比例对音频数据库的多通道音频数据进行划分并生成训练集和验证集；构建声学事件的定位检测模型；所述定位检测模型由特征提取模块、卷积表示学习模块、多级注意力模块、时间卷积网络模块以及估计输出模块级联而成；使用训练集和验证集对构建的定位检测模型进行训练；本发明能够高效的对声学事件的声源方位信息和类别信息进行估计。

技术领域

本发明涉及一种声学事件的定位检测方法及装置，属于声学场景感知技术领域。

背景技术

人类用双耳感知声学环境，可以获取环境中所发生的事件类别、方位信息，从而判断环境具体属性(如是否安全等)。利用声学传感器获取声音，并通过智能感知技术提取声学环境中有关事件的属性和方位，可以为机器人、交通监控等应用提供声学感知能力，弥补因光照、气候等因素变化给光学场景感知带来的不利影响。

传统的声学场景感知技术中，事件(声源)检测(SED)和定位(DOA)是两个不同的分支。声源检测多采用单通道信号输入，利用线性分类器、支持向量机(SVM)等进行检测。声源定位多采用多通道输入，利用不同通道输入信号间存在的相位差，实现对波达角度的估计。由于实际场景中存在着同时出现多种声源的情况，分别进行声源检测和声源定位后再融合，可能存在检测结果和定位结果不匹配的情况，造成感知错误。采用基于深度学习的联合估计方法，如递归神经网络(RNN)、卷积神经网络(CNN)等，可以避免融合处理时的不匹配问题。其中CNN能够获取不同大小感受野中的表示特征，RNN多用于对方位轨迹等时间序列的估计。然而，由于场景中噪声和混响的存在，对特定声源检测和定位的性能仍然不能令人满意。

为改善定位和检测性能，借鉴人耳的听觉感知注意力机理，在处理声学场景输入信号时引入注意力机制，突出所关注的声学事件成分，抑制噪声和混响的影响。然而，已有的采用注意力机制的定位和检测模型，多只在输出层之前通过估计注意力权重实现对输出的掩模加权，无法同时满足对事件方位和类别这两种不同属性的准确关注，对性能的提升仍有待改进。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种声学事件的定位检测方法及装置，在提取的二维卷积深度表示基础上，采用多级注意力机制提取加权深度表示，并通过时间卷积网络模块提取深度表示的上下文特征信息；同时使用声源检测损失函数和方位估计损失函数进行多任务学习，以提升声源检测和定位的性能。

为达到上述目的，本发明是采用下述技术方案实现的：

第一方面，本发明提供了一种声学事件的定位检测方法，包括：

获取声学事件的多通道音频数据；

将声学事件的多通道音频数据输入训练好的定位检测模型，获取估计的声源方位信息和类别信息；

其中，所述定位检测模型的训练包括：

选取音频数据库，从音频数据库中获取包含声源方位信息和类别信息的多通道音频数据；

按照预设比例对音频数据库的多通道音频数据进行划分并生成训练集和验证集；

构建声学事件的定位检测模型；所述定位检测模型由特征提取模块、卷积表示学习模块、多级注意力模块、时间卷积网络模块以及估计输出模块级联而成；

使用训练集和验证集对构建的定位检测模型进行训练。