[发明专利]图像处理方法及装置、电子设备和存储介质

权利要求书

1.一种图像处理方法，其特征在于，包括：

将第一时间段内的第一时刻获取的预设场景的动态视觉信息，输入第一特征提取网络，获得第一特征图；

将所述第一时间段内的第二时刻获取的所述预设场景的第一色彩图像，输入第二特征提取网络，获得第二特征图，其中，动态视觉信息的获取频率高于色彩图像的获取频率，所述第一特征提取网络是通过所述第二特征提取网络训练的；

根据所述第二特征图和所述第一特征图，确定所述第二时刻与所述第一时刻之间的特征变化量；

根据所述第一特征图和所述特征变化量，确定所述预设场景中的目标对象在所述第一时刻的位置信息。

2.根据权利要求1所述的方法，其特征在于，根据所述第一特征图和所述特征变化量，确定所述预设场景中的目标对象在所述第一时刻的位置信息，包括：

根据所述第二特征图和所述特征变化量，对所述第二特征图进行特征更新处理，获得第三特征图；

对所述第一色彩图像进行目标特征提取处理，获得所述目标对象的特征向量；

根据所述目标对象的特征向量，对所述第三特征图进行卷积处理，得到所述特征向量与所述第三特征图之间的相关热力图；

根据所述相关热力图，确定所述目标对象在所述第一时刻的位置信息。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

对所述第三特征图进行解码处理，获得第一时刻的第二色彩图像。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

根据所述位置信息，对所述第二色彩图像中的目标对象进行分割处理，获得所述目标对象的分割掩码图。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过预训练的第二特征提取网络对样本场景的样本色彩图像进行特征提取处理，获得第一样本特征图；

通过第一特征提取网络对所述样本场景的样本动态视觉信息进行特征提取处理，获得第二样本特征图，其中，所述样本动态视觉信息与所述样本色彩图像同时获取；

根据所述第一样本特征图和所述第二样本特征图，确定第一特征提取网络的网络损失；

根据所述网络损失，训练所述第一特征提取网络。

6.根据权利要求1所述的方法，其特征在于，所述第一特征提取网络包括脉冲神经网络，所述第二特征提取网络包括卷积神经网络。

7.一种图像处理装置，其特征在于，包括：

第一特征提取模块，用于将第一时间段内的第一时刻获取的预设场景的动态视觉信息，输入第一特征提取网络，获得第一特征图；

第二特征提取模块，用于将所述第一时间段内的第二时刻获取的所述预设场景的第一色彩图像，输入第二特征提取网络，获得第二特征图，其中，动态视觉信息的获取频率高于色彩图像的获取频率，所述第一特征提取网络是通过所述第二特征提取网络训练的；

特征变化量确定模块，用于根据所述第二特征图和所述第一特征图，确定所述第二时刻与所述第一时刻之间的特征变化量；

位置信息确定模块，用于根据所述第一特征图和所述特征变化量，确定所述预设场景中的目标对象在所述第一时刻的位置信息。

8.根据权利要求7所述的装置，其特征在于，所述位置信息确定模块进一步用于：

根据所述第二特征图和所述特征变化量，对所述第二特征图进行特征更新处理，获得第三特征图；

对所述第一色彩图像进行目标特征提取处理，获得所述目标对象的特征向量；

根据所述目标对象的特征向量，对所述第三特征图进行卷积处理，得到所述特征向量与所述第三特征图之间的相关热力图；

根据所述相关热力图，确定所述目标对象在所述第一时刻的位置信息。

9.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至6中任意一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至6中任意一项所述的方法。