[发明专利]视频处理方法、装置、电子设备和介质

权利要求书

1.一种视频处理方法，包括：

获取待着色视频的连续多个帧和彩色参考图像；以及

针对所述多个帧中的每个帧：

基于所述参考图像，对该帧进行预着色；

对经预着色的帧进行特征提取，以获取第一特征；

将该帧的第一特征与至少一个相邻帧的第一特征进行合并，以获取合并特征；以及

基于所述合并特征，获取最终着色结果。

2.根据权利要求1所述的方法，其中，基于所述参考图像，对该帧进行预着色包括：

对所述彩色参考图像进行特征提取，以获取参考图像特征；

对该帧进行特征提取，以获取第二特征；

确定所述参考图像特征与所述第二特征之间的映射；以及

根据所述映射，将所述参考图像中的色彩信息映射至该帧中，以对该帧进行预着色。

3.根据权利要求1所述的方法，其中，将该帧的第一特征与至少一个相邻帧的第一特征进行合并包括：

确定该帧与所述至少一个相邻帧之间的光流信息；

根据所述光流信息，将所述至少一个相邻帧的第一特征转换至该帧；以及

将该帧的第一特征与经转换的至少一个相邻帧的第一特征在特征通道维度进行合并。

4.根据权利要求1至3中任一项所述的方法，其中，将该帧的第一特征与至少一个相邻帧的第一特征进行合并包括：

将该帧的第一特征与前后相邻各帧的第一特征进行合并。

5.根据权利要求1至3中任一项所述的方法，还包括：对所述合并特征进行特征融合，并且

其中，基于所述合并特征，获取最终着色结果包括：对融合后的特征进行解码，以获取所述最终着色结果。

6.根据权利要求1至3中任一项所述的方法，其中，所述彩色参考图像是Lab色彩空间的彩色图像。

7.一种视频处理装置，包括：获取单元、预着色单元、特征提取单元、特征合并单元以及最终着色单元，其中，

所述获取单元被配置为获取待着色视频的连续多个帧和彩色参考图像；并且

针对所述多个帧中的每个帧：

所述预着色单元被配置为基于所述参考图像，对该帧进行预着色；

所述特征提取单元被配置为对经预着色的帧进行特征提取，以获取第一特征；

所述特征合并单元被配置为将该帧的第一特征与至少一个相邻帧的第一特征进行合并，以获取合并特征；

所述最终着色单元被配置为基于所述合并特征，获取最终着色结果。

8.根据权利要求7所述的装置，其中，所述预着色单元被进一步配置为：

对所述彩色参考图像进行特征提取，以获取参考图像特征；

对该帧进行特征提取，以获取第二特征；

确定所述参考图像特征与所述第二特征之间的映射；以及

根据所述映射，将所述参考图像中的色彩信息映射至该帧中，以对该帧进行预着色。

9.根据权利要求7所述的装置，其中，所述特征合并单元被进一步配置为：

确定该帧与所述至少一个相邻帧之间的光流信息；

根据所述光流信息，将所述至少一个相邻帧的第一特征转换至该帧；以及

将该帧的第一特征与经转换的至少一个相邻帧的第一特征在特征通道维度进行合并。

10.根据权利要求7至9中任一项所述的装置，其中，所述特征合并单元被进一步配置为：

将该帧的第一特征与前后相邻各帧的第一特征进行合并。

11.根据权利要求7至9中任一项所述的装置，还包括特征融合单元，所述特征融合单元被配置为对所述合并特征进行特征融合，并且

其中，所述最终着色单元被进一步配置为：对融合后的特征进行解码，以获取所述最终着色结果。