[发明专利]视频处理方法、装置、电子设备和介质

说明书

本公开提供了一种视频处理方法、装置、电子设备和介质，涉及人工智能技术领域，尤其涉及深度学习、计算机视觉技术领域。实现方案为：获取待着色视频的连续多个帧和彩色参考图像；以及针对多个帧中的每个帧：基于参考图像，对该帧进行预着色；对经预着色的帧进行特征提取，以获取第一特征；将该帧的第一特征与至少一个相邻帧的第一特征进行合并，以获取合并特征；以及基于合并特征，获取最终着色结果。

技术领域

本公开涉及人工智能技术领域，尤其涉及深度学习、计算机视觉技术领域，具体涉及一种视频处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

图像与视频处理任务是应用深度学习算法的一种实践应用。使用深度学习算法能够极大提升图像与视频处理的效率。

在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

发明内容

本公开提供了一种视频处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

根据本公开的一方面，提供了一种视频处理方法。该方法包括：获取待着色视频的连续多个帧和彩色参考图像；以及针对多个帧中的每个帧：基于参考图像，对该帧进行预着色；对经预着色的帧进行特征提取，以获取第一特征；将该帧的第一特征与至少一个相邻帧的第一特征进行合并，以获取合并特征；以及基于合并特征，获取最终着色结果。

根据本公开的另一方面，提供了一种视频处理装置。该装置包括：获取单元、预着色单元、特征提取单元、特征合并单元以及最终着色单元，其中，获取单元被配置为获取待着色视频的连续多个帧和彩色参考图像；并且针对多个帧中的每个帧：预着色单元被配置为基于参考图像，对该帧进行预着色；特征提取单元被配置为对经预着色的帧进行特征提取，以获取第一特征；特征合并单元被配置为将该帧的第一特征与至少一个相邻帧的第一特征进行合并，以获取合并特征；最终着色单元被配置为基于合并特征，获取最终着色结果。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述任意一种方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行上述任意一种方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，其中，计算机程序在被处理器执行时实现上述任意一种方法。

根据本公开的一个或多个实施例，可以减少或消除着色视频在时域上的“抖动”或“闪烁”效果，从而提高视频着色的质量。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。

图1示出了根据本公开的实施例的可以在其中实施本文描述的各种方法的示例性系统的示意图；