[发明专利]图像处理方法及装置、电子设备和存储介质

说明书

本公开涉及一种图像处理方法及装置、电子设备和存储介质，所述方法包括：将第一时间段内获取第一色彩图像输入第一光流网络，获得第一光流信息；将第一时间段内的获取动态视觉信息输入第二光流网络，获得第二光流信息；将第一光流信息和第二光流信息进行融合，获得第三光流信息；根据第三光流信息和第一色彩图像，生成第二色彩图像。根据本公开的实施例的图像处理方法，可通过第三光流信息可生成与动态视觉信息对应的色彩图像，可使色彩图像的获取频率提高，有助于对运动对象的运动轨迹或动作进行追踪，提升追踪效果。

技术领域

本公开涉及计算机技术领域，尤其涉及一种图像处理方法及装置、电子设备和存储介质。

背景技术

在相关技术中，相机或摄像头采集图像或视频帧的帧频不高，在一定时间段内采集到的视频帧的数量有限，如果拍摄的目标对象速度较快，则在两个视频帧之间的时间间隔中，难以拍摄到目标对象，也难以确定目标对象的位姿，导致遗漏目标对象的动作或轨迹。

发明内容

本公开提出了一种图像处理方法及装置、电子设备和存储介质。

根据本公开的一方面，提供了一种图像处理方法，包括：将第一时间段内获取的预设场景的多个第一色彩图像输入第一光流网络，获得各个第一色彩图像之间的第一光流信息；将第一时间段内的获取的所述预设场景的多个动态视觉信息输入第二光流网络，获得各个动态视觉信息之间的第二光流信息，其中，动态视觉信息的获取频率高于色彩图像的获取频率；将所述第一光流信息和所述第二光流信息进行融合处理，获得第三光流信息；根据所述第三光流信息和所述多个第一色彩图像，分别生成与各个动态视觉信息对应的第二色彩图像。

在一种可能的实现方式中，根据所述第三光流信息和所述多个第一色彩图像，分别生成与各个动态视觉信息对应的第二色彩图像，包括：根据所述第三光流信息、所述多个第一色彩图像和所述多个动态视觉信息，分别生成与各个动态视觉信息对应的第二色彩图像。

在一种可能的实现方式中，根据所述第三光流信息、所述多个第一色彩图像和所述多个动态视觉信息，分别生成与各个动态视觉信息对应的第二色彩图像，包括：根据所述第一色彩图像以及所述第三光流信息，分别获得与各个动态视觉信息对应的重建图像；根据所述第三光流信息、所述第一色彩图像和所述多个动态视觉信息，分别获得与各个重建图像对应的可视度信息，其中，所述可视度信息用于表示图像中的对象是否可见；针对任一动态视觉信息，根据所述动态视觉信息的可视度信息和对应的重建图像，获得与所述动态视觉信息对应的第二色彩图像。

在一种可能的实现方式中，针对任一动态视觉信息，根据所述动态视觉信息的可视度信息和对应的重建图像，获得与所述动态视觉信息对应的第二色彩图像，包括：根据所述可视度信息，对所述重建图像中各个像素点的像素值进行加权，获得所述第二色彩图像。

在一种可能的实现方式中，根据所述第三光流信息和所述多个第一色彩图像，分别生成与各个动态视觉信息对应的第二色彩图像，包括：根据所述第三光流信息对所述第一色彩图像中各个像素点的位置进行调节，分别获得与各个动态视觉信息对应的所述第二色彩图像。

在一种可能的实现方式中，所述第一光流网络包括卷积神经网络，所述第二光流网络包括递归神经网络。

根据本公开的一方面，提供了一种图像处理装置，包括：第一光流获取模块，用于将第一时间段内获取的预设场景的多个第一色彩图像输入第一光流网络，获得各个第一色彩图像之间的第一光流信息；第二光流获取模块，用于将第一时间段内的获取的所述预设场景的多个动态视觉信息输入第二光流网络，获得各个动态视觉信息之间的第二光流信息，其中，动态视觉信息的获取频率高于色彩图像的获取频率；融合模块，用于将所述第一光流信息和所述第二光流信息进行融合处理，获得第三光流信息；生成模块，用于根据所述第三光流信息和所述多个第一色彩图像，分别生成与各个动态视觉信息对应的第二色彩图像。