[发明专利]视听特征融合的目标行为识别方法、装置及应用

说明书

本申请提出了一种视听特征融合的目标行为识别方法、装置及应用，涉及智能安防的技术领域，其中，所述方法将视觉信息和听觉信息输入指定的算法网络，经过两个分支的不同特征提取网络，提取了视觉特征和听觉特征，并经过了LSTM网络计算得到时序上特征；并通过自编码网络构建共享语义子空间，消除视觉和听觉特征的语义偏差，最后融合视觉特征和听觉特征，基于融合特征能够识别出目标行为。通过本申请能够提高异常行为识别的准确率。

技术领域

本申请涉及智能安防技术领域，特别是涉及一种视听特征融合的目标行为识别方法、装置及应用。

背景技术

在城市管理和安全管理领域，监控突发事件并实时报警，对公共安全管理十分重要。在实际生活中，人员打架行为是最常见的异常突发事件之一。传统的报警方式主要包括：通过人员打电话报警得知打架斗殴行为已经发生，显然这种报告方式有滞后性，此外还可以通过安保人工盯着监控画面以发现异常，但这种方式耗费人力成本。

故目前已有相关技术通过监控相机24小时不间断的监控，再根据人工智能算法对打架行为进行判断和报警，可以大大提高打架行为等突发异常事件的报警实时性和准确性。

在现有技术中，通过人工智能算法对打架进行判断的方式包括：检测画面并做行为分类判断或者检测多帧画面的中的人体关键点位置并作行为判断。如公开号CN112733629A、CN111401296A只公开了采用图像信息来判断异常行为。对于实际场景中，上述的算法会将一些动作较大的劳动操作比如多人打扫卫生，或者多人的体育锻炼动作比如打球识别为打架斗殴行为；此外，通常的算法判断仅用到了图像信息做判断，在准确度方面需要提高。

此外，现有技术如公开号CN104243894A、CN102098492A根据相离的两个步骤来判断异常行为，再在决策级进行融合，然而决策级融合方法对提高异常行为视频识别性能的作用有限，决策级融合只能融合两个支路模式决策后的得分，没有考虑各模式信息的语义一致性，因此无法解决视频和声音时间不对齐以及语义不一致性的问题。

而语义一致性在多模态信息融合，尤其是视觉和听觉信息融合中具有重要意义。当多模态信息语义一致时，信息是互补的，否则，它们就会相互干扰，如著名的“McGurk效应”。有时，人类的听力明显受到视觉的影响，这可能会导致误听，如当一种声音与视觉信号不匹配时，人们会神秘地感知到第三种声音，将声音和视频信号简单融合甚至会产生相反的效果。

因此，在多模态信息形式语义不一致的情况下，没有任何度量的模态之间的特征融合不仅无法实现模态之间的信息互补，还可能导致算法性能下降。由于异常行为发生的特殊性，视听信息语义的不一致性主要体现：首先，视听数据在时间轴上可能不是对齐的，可能是声音特征会慢于视觉特征出现。另外视觉与听觉存在语义表达偏差信息。这都是多模态特征融合过程中需要解决的问题。

基于此，针对异常行为识别算法中无法很好融入视听特征准确判断是否存在异常行为的问题，目前尚未提出有效解决方案。

发明内容

本申请实施例提供了一种视听特征融合的目标行为识别方法、装置及应用，针对现有的异常行为识别算法，本方案使用特征级融合方法使进行视听信息融合，能够提高异常行为识别的准确率。

第一方面，本申请实施例提供了一种视听特征融合的目标行为识别方法，所述方法包括：获取预设时长的待识别音视频段；采集所述待识别音视频段中的视觉输入信息及听觉输入信息；将所述视觉输入信息及所述听觉输入信息一同输入目标行为模型中，其中所述目标行为模型包括双分支通道的特征提取网络、自编码网络及全连接层识别模块；根据所述特征提取网络分别从所述视觉输入信息、所述听觉输入信息中提取特征，得到视觉特征、听觉特征；采用所述自编码网络将所述视觉特征、所述听觉特征映射到同一子空间中进行视听信息融合，得到融合特征；将所述融合特征输入所述全连接层识别模块进行识别，得到目标行为。