[发明专利]基于图像融合的行为识别方法、装置、电子设备及介质

权利要求书

1.一种基于图像融合的行为识别方法，其特征在于，所述方法包括：

响应于识别目标对象的行为的指令，获取包含所述目标对象的视频流；

从所述视频流中提取多个初始图像；

对所述多个初始图像进行光流计算得到多个光流图像；

基于注意力机制将每个所述初始图像与对应的所述光流图像进行融合，得到多个融合图像；

将所述多个融合图像输入至预先训练完成的3D卷积神经网络中进行行为识别，其中，所述预先训练完成的3D卷积神经网络为单分支网络结构。

2.如权利要求1所述的基于图像融合的行为识别方法，其特征在于，在从所述视频流中提取多个初始图像之后，所述方法还包括：

检测每个所述初始图像中所述目标对象对应的目标区域；

对每个所述初始图像中的目标区域进行裁剪，得到目标图像；

对多个所述目标图像进行采样，得到多个采样图像；

所述对所述多个初始图像进行光流计算得到多个光流图像包括：对所述多个采样图像进行光流计算得到多个光流图像。

3.如权利要求2所述的基于图像融合的行为识别方法，其特征在于，所述对多个所述目标图像进行采样，得到多个采样图像包括：

获取每个所述目标图像的尺寸；

根据所述尺寸对每个所述目标图像进行第一采样得到第一采样图像，及对每个所述目标图像进行第二采样得到第二采样图像；

计算每个所述第一采样图像的第一图像质量，及计算每个所述第二采样图像的第二图像质量；

比较多个所述第一图像质量及多个所述第二图像质量，得到比较结果；

根据所述比较结果确定多个采样图像。

4.如权利要求3所述的基于图像融合的行为识别方法，其特征在于，所述根据所述尺寸对每个所述目标图像进行第一采样得到第一采样图像，及对每个所述目标图像进行第二采样得到第二采样图像包括：

获取多个所述尺寸中的最大尺寸及最小尺寸；

根据所述最大尺寸确定每个所述目标图像的第一采样率，根据所述最小尺寸确定每个所述目标图像的第二采样率；

根据所述第一采样率对对应的所述目标图像进行上采样得到第一采样图像，根据所述第二采样率对对应的所述目标图像进行下采样得到第二采样图像。

5.如权利要求3所述的基于图像融合的行为识别方法，其特征在于，所述根据所述比较结果确定多个采样图像包括：

当所述比较结果为多个所述第一图像质量的平均值大于多个所述第二图像质量的平均值，确定多个所述第一采样图像为所述多个采样图像；

当所述比较结果为多个所述第一图像质量的平均值小于多个所述第二图像质量的平均值，确定多个所述第二采样图像为所述多个采样图像。

6.如权利要求2至5中任意一项所述的基于图像融合的行为识别方法，其特征在于，所述对所述多个采样图像进行光流计算得到多个光流图像包括：

采用光流算法计算每相邻的两个采样图像的光流场；

对所述光流场进行阈值分割；

筛选出所述光流场中大于所述阈值的目标光流场；

确定对应所述目标光流场的目标采样图像，根据所述目标光流场得到目标光流图像；

所述基于注意力机制将每个所述初始图像与对应的所述光流图像进行融合包括：基于注意力机制将每个所述目标采样图像与对应的所述目标光流图像进行融合。

7.如权利要求2至5中任意一项所述的基于图像融合的行为识别方法，其特征在于，所述将所述多个融合图像输入至预先训练完成的3D卷积神经网络中进行行为识别包括：

获取所述3D卷积神经网络中最后一个卷积层输出的特征图；

将每个所述融合图像与对应的所述特征图进行拼接处理，得到拼接图像；

基于所述拼接图像进行行为识别。