[发明专利]通过下采样/上采样与增强信息对数字帧进行编码/解码

说明书

可对输入数字帧进行下采样以创建特征在于比所述输入数字帧低的分辨率的一个或多个基本帧。然后，创建对应于所述一个或多个输入数字帧的像素值与所述一个或多个基本帧的上采样版本的对应像素值之间的差的增强信息。对所述一个基本帧进行编码以形成一组基本数据，并且对所述增强信息进行编码以形成一组增强数据。然后，可通过网络传输所述基本数据和所述增强数据或将所述基本数据和所述增强数据存储在存储器中。

技术领域

本公开的各方面涉及对数字数据进行编码和解码以用于流媒体应用。特别地，本公开涉及在多个分辨率下对同一视频内容进行编码。

背景技术

数字信号压缩(有时称作视频编码(video coding或video encoding))广泛用于许多多媒体应用和装置。使用编码器/解码器(编解码器)的数字信号压缩允许通过互联网传输诸如音频或视频信号的流媒体或将其存储在光盘上。已经出现许多不同的数字视频压缩标准，包括：H.261、H.263；DV；MPEG-l、MPEG-2、MPEG-4、VC1；AVC(H.264)和HEVC(H.265)。这些标准以及其他视频压缩技术寻求通过消除图片中以及连续图片之间的空间和时间冗余来有效地表示视频帧图片。通过使用这类压缩标准，视频内容可携载在高度压缩的视频比特流中，并因此有效地存储在盘中或通过网络传输。

在多个分辨率下对同一视频内容进行编码对于通过网络流式传输视频以及靶向具有不同计算能力的不同解码硬件来说通常是必须的。例如，由于带宽限制以及由于视频编码和解码硬件的能力的最新进展，有时需要以多个分辨率对视频进行编码。随着4K显示器(图片宽度为3840至4096像素)的日益普及，对更高分辨率视频内容的需求增加。4K视频所需的存储空间远远高于1080p HD视频。在一些情况下，存储同一视频内容的较低和较高分辨率版本对于例如在不同硬件上显示可能是必须的。在蓝光光盘上同时具有HD和4K分辨率的视频流可允许低功率视频播放器显示HD内容并允许更大功率的视频播放器显示4K内容。然而，由于物理盘上的存储限制，可能无法在单张盘上设置两个分辨率。解决此问题的一种途径是针对同一内容生成低分辨率盘和高分辨率盘。为了通过网络流式传输视频，可在带宽高时显示较高分辨率视频，并且可在网络拥塞期间显示较低分辨率。传输较低分辨率编码视频(例如，1080p HD视频)与较高分辨率(例如，4K)的视频相比需要更少的比特。

另一种途径是对低分辨率视频进行编码并在将其呈现在更高分辨率硬件上时对其进行上采样。然而，当在高分辨率硬件上播放上采样低分辨率视频时，视频质量受损。又一种途径是仅将高分辨率编码视频存储在盘上。不幸的是，低功率的硬件可能不得不跳帧，因为它的功率不足以维持较高分辨率视频所需的帧速率。

具有多个盘增加了生产成本，而仅在盘上存储视频的一个分辨率在较低功率或较高功率的播放器的情况下都不能提供最佳体验。如果仅在盘上存储较低分辨率视频，那么所显示的图片将需要在较高分辨率显示器上进行上采样。上采样视频内容的图片质量将低于原始具有较高分辨率内容的图片质量。如果仅在盘上存储较高分辨率视频，那么较低功率的装置可能无法以原始帧速率显示内容，并且可能不得不丢帧或降低帧速率。这也导致用户享受变差。

虽然称为可伸缩视频编码(SVC)的高级视频编码(AVC)标准的扩展允许针对多个分辨率的有效压缩，但是支持此扩展的装置的数量与不支持此扩展的装置的数量相比要少得多。因此，处理多个分辨率的常见途径是在编码之前根据多个分辨率调整视频内容的大小，并且针对每个分辨率生成可独立于彼此解码的单独的比特流。

本公开的各方面正是在此上下文下产生。

附图说明

通过结合附图考虑以下详细描述，可易于理解本公开的教义，在附图中：

图1是展示在本发明的各方面的上下文内的流数据图片的一种可能划分的示意图。

图1B是展示常规的多分辨率图片编码的流程图。

图1C是展示常规的多分辨率图片解码的流程图。