[发明专利]基于跨模态注意力机制的事件检测方法、装置及相关介质

权利要求书

1.一种基于跨模态注意力机制的紧急事件检测方法，其特征在于，包括：

获取事件视频，对所述事件视频进行音频分离处理得到音频数据，以及对所述事件视频进行抽帧处理得到图像数据；

通过自监督训练音频编码器对所述音频数据进行语音表示得到音频特征；

通过Swin-Transformer模型对所述图像数据进行特征提取得到帧级特征，并对所述帧级特征进行聚合得到特征向量，并通过线性层将所述特征向量降维至与音频特征相同的维度，再通过激活函数进行激活得到图像特征；

将所述音频特征输入到第一跨模态注意力模块，学习从音频到图像的对齐映射关系，得到第一高级特征；将所述图像特征输入到第二跨模态注意力模块，学习从图像到音频的对齐映射关系，得到第二高级特征；

对所述第一高级特征和所述第二高级特征进行拼接处理，并输入至分类网络，输出得到最终高级特征；

将所述最终高级特征输入到线性分类层进行分类处理得到紧急事件预测结果，根据损失函数和所述紧急事件预测结果进行模型优化得到紧急事件检测模型。

2.根据权利要求1所述的基于跨模态注意力机制的紧急事件检测方法，其特征在于，所述第一跨模态注意力模块和所述第二跨模态注意力模块的处理过程均包括如下步骤：

对待处理特征进行线性变换处理得到多个注意力头的查询向量Q_i、键向量K_i和值向量V_i；其中，所述待处理特征为音频特征或图像特征；其中i＝[1,2.....h]，h是注意力头的个数；

将所述查询向量Q_i、键向量K_i输入到缩放点积注意力层，计算音频特征和图像特征之间的关联性，得到注意力矩阵A_i；

通过softmax激活函数对所述注意力矩阵A_i进行激活；

将激活后的所述注意力矩阵A_i和值向量V_i进行矩阵乘法，得到第i个注意力头的输出head_i；

对多个所述注意力进行拼接得到多头注意力；

将所述多头注意力输入到前馈神经网络进行特征映射处理，输出得到对应的高级特征。

3.根据权利要求2所述的基于跨模态注意力机制的紧急事件检测方法，其特征在于，所述将所述多头注意力输入到前馈神经网络进行特征映射处理，输出得到对应的高级特征，包括：

按如下公式计算得到所述第一高级特征或所述第二高级特征：

F＝FFN(M)＝ReLU(MW_i+b₁)W₂+b₂

其中，FFN表示所述前馈神经网络，F表示第一高级特征或所述第二高级特征，M表示所述多头注意力，ReLU表示激活函数，W₁表示第一个线性层的权重，b₁表示第一个线性层的偏差，W₂表示第二个线性层的权重，b₂表示第二个线性层的偏差。

4.根据权利要求1所述的基于跨模态注意力机制的紧急事件检测方法，其特征在于，所述对所述第一高级特征和所述第二高级特征进行拼接处理得到最终高级特征，包括：

按如下公式计算得到所述最终高级特征：

F＝SeNet[Concat(F_t,F₂)]

其中，SeNet表示所述分类网络模型，F₁表示所述第一高级特征，F₂表示所述第二高级特征，Concat表示拼接，F表示所述最终高级特征。