[发明专利]基于图像融合的行为识别方法、装置、电子设备及介质

说明书

本发明涉及人工智能技术领域，提供一种基于图像融合的行为识别方法、装置、电子设备及介质，通过将初始图像与计算得到的光流图像进行融合，实现了图像信息与时间信息的融合，且通过光流信息指导3D卷积神经网络对于初始图像的信息的理解，通过注意力机制让3D卷积神经网络学习更多的感兴趣信息，从而基于融合后的融合图像进行行为识别，有效的保证了行为识别的准确度；训练的3D卷积神经网络为单分支网络结构，相比双分支的3D卷积神经网络而言，在保证行为识别准确率的前提下，单分支网络结构降低了网络模型的复杂度，从而降低了整个行为识别过程的复杂度，让整个过程更加集中化，提高了行为识别的效率。

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于图像融合的行为识别方法、装置、电子设备及介质。

背景技术

行为识别是计算机视觉领域非常有挑战性的课题，因为其不仅仅要分析目标体的空间信息，还要分析时间维度上的信息。如何更好的提取出空间-时间特征是问题的关键。随着深度神经网络在目标检测方面的广泛应用和取得的良好效果，人们也探索使用神经网络进行动作识别。

发明人在实现本发明的过程中发现，现有技术中通过设置两个网络，一个网络用于处理图像空间，另一个网络用于处理时间信息，最后利用SVM将这两个网络的输出关联起来，实现目标体的静态和动态的融合，从而实现行为的识别。但该方法由于设置了两个网络结构，导致网络结构较为复杂，且需要同时训练两个网络，导致模型训练复杂度加大，训练效率较低，从而导致行为识别的效率较低。

发明内容

鉴于以上内容，有必要提出一种基于图像融合的行为识别方法、装置、电子设备及介质，能够在保证行为识别准确率的前提下简化神经网络模型的结构，降低神经网络模型的复杂度，提高行为识别的效率。

本发明的第一方面提供一种基于图像融合的行为识别方法，所述方法包括：

响应于识别目标对象的行为的指令，获取包含所述目标对象的视频流；

从所述视频流中提取多个初始图像；

对所述多个初始图像进行光流计算得到多个光流图像；

基于注意力机制将每个所述初始图像与对应的所述光流图像进行融合，得到多个融合图像；

将所述多个融合图像输入至预先训练完成的3D卷积神经网络中进行行为识别，其中，所述预先训练完成的3D卷积神经网络为单分支网络结构。

在一个可选的实施方式中，在从所述视频流中提取多个初始图像之后，所述方法还包括：

检测每个所述初始图像中所述目标对象对应的目标区域；

对每个所述初始图像中的目标区域进行裁剪，得到目标图像；

对多个所述目标图像进行采样，得到多个采样图像；

所述对所述多个初始图像进行光流计算得到多个光流图像包括：对所述多个采样图像进行光流计算得到多个光流图像。

在一个可选的实施方式中，所述对多个所述目标图像进行采样，得到多个采样图像包括：

获取每个所述目标图像的尺寸；

根据所述尺寸对每个所述目标图像进行第一采样得到第一采样图像，及对每个所述目标图像进行第二采样得到第二采样图像；

计算每个所述第一采样图像的第一图像质量，及计算每个所述第二采样图像的第二图像质量；

比较多个所述第一图像质量及多个所述第二图像质量，得到比较结果；

根据所述比较结果确定多个采样图像。