[发明专利]视频处理电路及用于执行SR操作的方法

说明书

视频处理电路包括输入缓存器、在线适配电路和人工智能(AI)超分辨率(SR)电路。输入缓存器通过网络从视频源接收输入的低分辨率(LR)帧和高分辨率(HR)帧。在线适配电路形成训练对，并利用该训练对计算代表性特征的更新，该代表性特征具有该输入的LR帧的特征。每个训练对由输入的LR帧之一和HR帧之一组成。AI SR电路从输入缓存器接收输入的LR帧，并从在线适配电路接收该代表性特征。在计算对该代表性特征的更新的同时，AI SR电路基于代表性特征从输入LR帧生成用于显示的SR帧。每个SR帧具有比输入LR帧中的相应一者更高的分辨率。

技术领域

本发明实施例通常涉及一种视频播放技术，以及更特别地，涉及一种视频处理电路及用于执行超分辨率(super-resolution，SR)操作的方法。

背景技术

现在的图像显示设备能够通过网络流式播放视频并在显示流媒体内容(streamedcontent)之前增强该内容。一些装置能够利用图像增强技术对流媒体内容执行超分辨率(super-resolution，SR)操作。超分辨率操作是指将低分辨率(low resolution，LR)图像上采样(up-scaling)至高分辨率图像，例如，从(720x480)像素的输入图像到(3840x2160)像素的输出图像。基于上/下采样(up/down-sampling)的常规图像调整技术(image resizingtechniques)会就模糊度(amount of blurring)，噪声(noise)，失真(distortion)，色彩状况(color condition)，清晰度(sharpness)，对比度(contrast)等降低图像质量(imagequality)。

典型的边缘装置(诸如电视或智能电话)因对功耗和热性能的严格要求而具有受限的计算能力。因此，边缘装置上的图像增强操作通常基于该装置的制造商预先配置的算法和参数。这在消费者使用该设备后，造成调整预配置的灵活性受限。当输入图像包含各种内容和质量时，受限的灵活性可能会对输出图像质量产生不利影响。因此，需要改进图像增强操作，以最小化对输出图像质量的上采样影响。

发明内容

有鉴于此，本发明的目的之一在于提供一种视频处理电路及用于执行超分辨率(SR)操作的方法，以具有图像增强能力。

在一实施例中，提供了一种视频处理电路，其包括输入缓存器，在线适配电路和人工智能(artificial intelligence，AI)超分辨率(SR)电路。输入缓存器通过网络从视频源接收输入的低分辨率(LR)帧和高分辨率(HR)帧。在线适配电路形成训练对，并利用该训练对计算代表性特征的更新，其中，该代表性特征具有输入的低分辨率(LR)帧的特征。每个训练对由输入的低分辨率(LR)帧之一和HR帧之一组成。AI超分辨率(SR)电路从输入缓存器接收输入的低分辨率(LR)帧，并从在线适配电路接收代表性特征。在计算对代表性特征的更新的同时，AI超分辨率(SR)电路基于代表性特征从输入的低分辨率(LR)帧生成用于显示的SR帧。每个SR帧具有比输入的低分辨率(LR)帧中的相应一个更高的分辨率。

在一实施例中，该代表性特征包括以下一项或多项：场景类型，劣化类型，劣化级别和色彩状况。

在一实施例中，该代表性特征包括用于该AI SR电路的信息，以更新用于生成该SR帧的AI模型的特性。

在一实施例中，与该输入的LR帧相比，该输入的HR帧被以更低频率地通过该网络接收。

在一实施例中，该训练对中的一个或多个包括具有不同内容和不同分辨率的HR帧和LR帧。

在一实施例中，该在线适配电路可操作为：利用卷积神经网络(CNN)识别该代表性特征。

在一实施例中，该AI SR电路可操作为：利用卷积神经网络(CNN)生成该SR帧。