[发明专利]一种基于联合优化网络的目标声源定位方法及系统

权利要求书

1.一种基于联合优化网络的目标声源定位方法，其特征在于，该方法包括：

通过在监测位置放置的麦克风阵列采集所有的目标声源信号，并将所述目标声源信号按照坐标标签和声音数据一起存储到声音数据集；

将所述声音数据集划分为训练集和验证集；

对所述训练集进行预处理后，送入预设的目标声检测和定位联合网络，获取目标声源定位模型，其中，所述目标声检测和定位联合网络包括时序特征提取模块、目标声检测模块和声源坐标回归预测模块；

将所述验证集进行预处理后，送入所述目标声源定位模型，计算所述目标声检测模块对于所述训练集和所述验证集的余弦相似度，并确定目标声源检测阈值；

实时获取声音数据，利用所述余弦相似度和所述目标声源检测阈值确定目标声源的方位预测；

其中，所述对所述训练集进行预处理后，送入预设的目标声检测和定位联合网络，获取目标声源定位模型，具体包括：

获取所述训练集中的训练声音数据；

获取窗口帧长度，所述窗口帧长度为1024；

根据第二计算公式对所述训练声音数据进行分帧，生成加窗分帧数据；

对所述加窗分帧数据进行短时傅里叶变换得到声音数据的时频能量谱和时频相位谱；

将所述时频能量谱和所述时频相位谱合并作为声音数据的特征数据；

将目标声源检测与定位联合优化网络分级为时频特征提取模块、所述目标声检测模块和所述声源坐标回归预测模块，其中，时频特征提取模块为双向循环网络，所述目标声检测模块为卷积自编码器，所述声源坐标回归预测模块为卷积网络；

将所述编码特征通过所述声源坐标回归预测模块进行声源方位的预测；

将所述目标声源检测与定位联合优化网络的损失函数由所述目标声检测模块的损失函数和声源坐标回归预测模块的损失函数组成；

将所述目标声检测模块的损失函数和所述声源坐标回归预测模块的损失函数采用梯度下降方法进行同时优化，得到所述目标声源定位模型；所述第二计算公式：其中，W为窗序列，n为第n个点，h为所述窗口帧长度

其中，所述将所述验证集进行预处理后，送入所述目标声源定位模型，计算所述目标声检测模块对于所述训练集和所述验证集的余弦相似度，并确定目标声源检测阈值，具体包括：

获取所述验证集中的数据和所述训练集中的数据，送入所述目标声源定位模型；

利用所述目标声源检测与定位联合优化网络中的所述时频特征提取模块获取第一重建特征；利用所述目标声源检测与定位联合优化网络中的所述目标声检测模块获取第二重建特征；利用第三计算公式获得所述目标声源检测阈值；

利用判断余弦相似度的最大值是否大于所述目标声源检测阈值；

所述第三计算公式为：其中，max为取所有的余弦相似度中的最大值，为训练样本个数，为第个所述训练集通过所述时频特征提取模块后输出的第一重建特征，为第j个所述验证集通过所述时频特征提取模块后输出的第二重建特征，为第j个验证数据与所有所述训练集数据的余弦相似度的均值；

所述实时获取声音数据，利用所述余弦相似度和所述目标声源检测阈值确定目标声源的方位预测，具体包括：

实时检测时，将采集到的声音数据进行加窗分帧后，做短时傅里叶变换得到包含声音数据的所述时频能量谱和所述时频相位谱的特征数据；

实施采集声音数据进行加窗分帧的第一实时数据；

对所述第一实时数据进行短时的傅里叶变换获得包含声音数据的所述时频能量谱和所述时频相位谱；

获得所述时频能量谱和所述时频相位谱的所述特征数据，将所述特征数据送入所述目标声源检测与定位联合优化网络，计算余弦相似度；

与预设的所述目标声源检测阈值进行对比，若所述余弦相似度小于所述目标声源检测阈值，则此次检测无目标声音；

若所述余弦相似度不小于所述目标声源检测阈值，则此次检测目标声音，并将所述声源坐标回归预测模块的输出作为目标声源定位结果。