[发明专利]声音事件定位模型训练方法和装置

说明书

本发明公开声音事件定位模型训练方法和装置，其中，一种声音事件定位模型训练方法，包括：响应于输入音频和与所述输入音频对应的描述声音事件的短语，利用音频编码器将所述输入音频编码成特征向量序列，利用短语编码器将所述描述声音事件的短语编码成文本短语向量，其中，所述特征向量序列由所述音频中每个时刻的音频特征向量组成；计算所述文本短语向量与所述每个时刻的音频特征向量的相似度；基于相似度确定声音事件对应的开始时间和结束时间形成第一数据集的标注，基于对所述输入音频的声音事件标注形成第二数据集的标注；以及通过最小化所述第一数据集的标注和所述第二数据集的标注之间的损失训练所述音频编码器和所述短语编码器。

技术领域

本发明属于声音事件定位技术领域，尤其涉及声音事件定位模型训练方法和装置。

背景技术

万物的声音携带了大量有关日常环境和其中发生的物理事件的信息，而声音事件检测(SED，Sound Events Detection)能感知到我们所处的声音场景，识别出各个声源类别，并标记出特定事件的时间戳。

相关技术中，声音事件检测通常是输入一段音频，输出几个预定义好的声音事件的开始和结束时间。

发明人在实现本申请的过程中发现，仅仅通过提取音频特征并检测开始结束时间，无法根据自然语言的灵活输入检测对应的声音事件。主要是因为缺少对应的音频—声音事件—文本数据集，无法训练对应的模型。

发明内容

本发明实施例提供一种声音事件定位模型训练方法和装置，用于至少解决上述技术问题之一。

第一方面，本发明实施例提供一种声音事件定位模型训练方法，包括：响应于输入音频和与所述输入音频对应的描述声音事件的短语，利用音频编码器将所述输入音频编码成特征向量序列，利用短语编码器将所述描述声音事件的短语编码成文本短语向量，其中，所述特征向量序列由所述音频中每个时刻的音频特征向量组成；计算所述文本短语向量与所述每个时刻的音频特征向量的相似度；基于相似度确定声音事件对应的开始时间和结束时间形成第一数据集的标注，基于对所述输入音频的声音事件标注形成第二数据集的标注；以及通过最小化所述第一数据集的标注和所述第二数据集的标注之间的损失训练所述音频编码器和所述短语编码器。

第二方面，本发明实施例提供一种声音事件定位模型训练装置，包括：编码模块，配置为响应于输入音频和与所述输入音频对应的描述声音事件的短语，利用音频编码器将所述输入音频编码成特征向量序列，利用短语编码器将所述描述声音事件的短语编码成文本短语向量，其中，所述特征向量序列由所述音频中每个时刻的音频特征向量组成；计算模块，配置为计算所述文本短语向量与所述每个时刻的音频特征向量的相似度；标注模块，配置为基于相似度确定声音事件对应的开始时间和结束时间形成第一数据集的标注，基于对所述输入音频的声音事件标注形成第二数据集的标注；以及训练模块，配置为通过最小化所述第一数据集的标注和所述第二数据集的标注之间的损失训练所述音频编码器和所述短语编码器。

第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的声音事件定位模型训练方法的步骤。

第四方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行本发明任一实施例的声音事件定位模型训练方法的步骤。

本申请的方法和装置通过训练这样的基于文本的声音事件检测技术，不仅能够得到直接的输入自然语言，输入描述的音频事件的产品，还能够学习到更好的跨模态特征空间，同时编码音频特征和自然语言特征，从而支持诸如跨模态搜索、跨模态摘要评价等等应用。

附图说明