[发明专利]基于跨模态注意力机制的事件检测方法、装置及相关介质

说明书

本发明公开了基于跨模态注意力机制的事件检测方法、装置及相关介质，该方法包括：获取事件视频并进行处理得到音频数据和图像数据；再分别对所述音频数据和所述图像数据进行处理得到音频特征和图像特征；分别将所述音频特征和所述图像特征输入到对应的跨模态注意力模块，得到第一高级特征和第二高级特征；对所述第一高级特征和所述第二高级特征进行拼接处理，输出得到最终高级特征；将所述最终高级特征输入到线性分类层进行分类处理得到紧急事件预测结果，最后根据损失函数和所述紧急事件预测结果进行模型优化得到紧急事件检测模型。本发明能够同时兼顾音频和图像两种模态的信息，从而实现在复杂的环境中对紧急事件进行准确预测。

技术领域

本发明涉及紧急事件检测领域，特别涉及一种基于跨模态注意力机制的事件检测方法、装置及相关介质。

背景技术

监控网络拥有监控摄像头，需要大量维护人员通过肉眼去监测多个摄像头下的实时状况；这种方式效率低下且需要较多的人力成本，而现有技术提供了基于摄像头检测的自动检测技术，其虽然解决了效率问题，但由于基于单一的信息来源进行事件检测，导致在复杂的环境下准确性较低，例如只能对图像进行检测，无法对声音进行检测，这种情况下，如出现摄像头死角，就没办法很好的检测到发生的紧急事件，从而导致无法及时通知相关人员。

发明内容

本发明实施例提供了基于跨模态注意力机制的事件检测方法、装置及相关介质，旨在解决技术中的摄像头自动检测技术在复杂的环境下准确性较低的问题。

第一方面，本发明实施例提供了一种基于跨模态注意力机制的紧急事件检测方法，包括：

获取事件视频，对所述事件视频进行音频分离处理得到音频数据，以及对所述事件视频进行抽帧处理得到图像数据；

通过自监督训练音频编码器对所述音频数据进行语音表示得到音频特征；

通过Swin-Transformer模型对所述图像数据进行特征提取得到帧级特征，并对所述帧级特征进行聚合得到特征向量，并通过线性层将所述特征向量降维至与音频特征相同的维度，再通过激活函数进行激活得到图像特征；

将所述音频特征输入到第一跨模态注意力模块，学习从音频到图像的对齐映射关系，得到第一高级特征；将所述图像特征输入到第二跨模态注意力模块，学习从图像到音频的对齐映射关系，得到第二高级特征；

对所述第一高级特征和所述第二高级特征进行拼接处理，并输入至分类网络，输出得到最终高级特征；

将所述最终高级特征输入到线性分类层进行分类处理得到紧急事件预测结果，根据损失函数和所述紧急事件预测结果进行模型优化得到紧急事件检测模型。

第二方面，本发明实施例提供了一种基于跨模态注意力机制的紧急事件检测装置，包括：

视频分离单元，用于获取事件视频，对所述事件视频进行音频分离处理得到音频数据，以及对所述事件视频进行抽帧处理得到图像数据；

音频处理单元，用于通过自监督训练音频编码器对所述音频数据进行语音表示得到音频特征；

图像处理单元，用于通过Swin-Transformer模型对所述图像数据进行特征提取得到帧级特征，并对所述帧级特征进行聚合得到特征向量，并通过线性层将所述特征向量降维至与音频特征相同的维度，再通过激活函数进行激活得到图像特征；

特征处理单元，用于将所述音频特征输入到第一跨模态注意力模块，学习从音频到图像的对齐映射关系，得到第一高级特征；将所述图像特征输入到第二跨模态注意力模块，学习从图像到音频的对齐映射关系，得到第二高级特征；

特征拼接单元，用于对所述第一高级特征和所述第二高级特征进行拼接处理，并输入至分类网络，输出得到最终高级特征；