[发明专利]图像处理方法及装置、电子设备和存储介质

说明书

本公开涉及一种图像处理方法及装置、电子设备和存储介质，所述方法包括：将第一时间段内的第一时刻获取的预设场景的动态视觉信息，输入第一特征提取网络，获得第一特征图；将第一时间段内的第二时刻获取的预设场景的第一色彩图像，输入第二特征提取网络，获得第二特征图；根据第二特征图和第一特征图，确定第二时刻与第一时刻之间的特征变化量；根据第一特征图和特征变化量，确定目标对象在第一时刻的位置信息。根据本公开的实施例的图像处理方法，可利用获取频率较高的动态视觉信息获得第二特征图，并确定第二特征图与第一色彩图像的第一特征图之间的特征变化量，来确定目标对象在第一时刻的位置信息，提升对目标对象的跟踪效果。

技术领域

本公开涉及计算机技术领域，尤其涉及一种图像处理方法及装置、电子设备和存储介质。

背景技术

在相关技术中，相机或摄像头采集图像或视频帧的帧频不高，在对高速运动的目标进行跟踪时，目标在两帧之间的时间段中的动作难以被跟踪，进而导致遗漏目标的动作或轨迹，使得跟踪效果不佳。

发明内容

本公开提出了一种图像处理方法及装置、电子设备和存储介质。

根据本公开的一方面，提供了一种图像处理方法，包括：将第一时间段内的第一时刻获取的预设场景的动态视觉信息，输入第一特征提取网络，获得第一特征图；将所述第一时间段内的第二时刻获取的所述预设场景的第一色彩图像，输入第二特征提取网络，获得第二特征图，其中，动态视觉信息的获取频率高于色彩图像的获取频率，所述第一特征提取网络是通过所述第二特征提取网络训练的；根据所述第二特征图和所述第一特征图，确定所述第二时刻与所述第一时刻之间的特征变化量；根据所述第一特征图和所述特征变化量，确定所述预设场景中的目标对象在所述第一时刻的位置信息。

在一种可能的实现方式中，根据所述第一特征图和所述特征变化量，确定所述预设场景中的目标对象在所述第一时刻的位置信息，包括：根据所述第二特征图和所述特征变化量，对所述第二特征图进行特征更新处理，获得第三特征图；对所述第一色彩图像进行目标特征提取处理，获得所述目标对象的特征向量；根据所述目标对象的特征向量，对所述第三特征图进行卷积处理，得到所述特征向量与所述第三特征图之间的相关热力图；根据所述相关热力图，确定所述目标对象在所述第一时刻的位置信息。

在一种可能的实现方式中，所述方法还包括：对所述第三特征图进行解码处理，获得第一时刻的第二色彩图像。

在一种可能的实现方式中，所述方法还包括：根据所述位置信息，对所述第二色彩图像中的目标对象进行分割处理，获得所述目标对象的分割掩码图。

在一种可能的实现方式中，所述方法还包括：通过预训练的第二特征提取网络对样本场景的样本色彩图像进行特征提取处理，获得第一样本特征图；通过第一特征提取网络对所述样本场景的样本动态视觉信息进行特征提取处理，获得第二样本特征图，其中，所述样本动态视觉信息与所述样本色彩图像同时获取；根据所述第一样本特征图和所述第二样本特征图，确定第一特征提取网络的网络损失；根据所述网络损失，训练所述第一特征提取网络。

根据本公开的一方面，提供了一种图像处理装置，所述装置包括：第一特征提取模块，用于将第一时间段内的第一时刻获取的预设场景的动态视觉信息，输入第一特征提取网络，获得第一特征图；第二特征提取模块，用于将所述第一时间段内的第二时刻获取的所述预设场景的第一色彩图像，输入第二特征提取网络，获得第二特征图，其中，动态视觉信息的获取频率高于色彩图像的获取频率，所述第一特征提取网络是通过所述第二特征提取网络训练的；特征变化量确定模块，用于根据所述第二特征图和所述第一特征图，确定所述第二时刻与所述第一时刻之间的特征变化量；位置信息确定模块，用于根据所述第一特征图和所述特征变化量，确定所述预设场景中的目标对象在所述第一时刻的位置信息。