[发明专利]控制被编码的视频的分辨率

说明书

一种用于参与视频通话的用户终端包括：编码器，其具有帧尺寸，该帧尺寸是编码器对视频中的帧进行编码的以像素为单位的尺寸；以及预处理级，其以该帧尺寸将帧的序列提供给编码器，每个帧包括至少用于表示相应时刻上的源视频图像的图像区域。预处理级被配置为，通过对源视频图像进行尺寸调整以产生尺寸小于编码器的帧尺寸的每个修改的帧的图像区域，并且与边缘区域组合以使得经修改的帧与编码器的帧尺寸相匹配，从而以经修改的形式将帧中的至少一些提供给编码器。编码器以帧尺寸对帧进行编码且将它们作为实况视频通话的一部分发送到接收终端。

背景技术

在现代通信系统中，可以通过诸如有线和/或无线网络等的介质来进行视频通话，所述网络例如可以包括诸如因特网等的基于分组的网络。通话包括从一个用户终端发送到另一个用户终端的至少一个视频流，并且经常是两个方向中的视频流。两个终端通过网络或其它介质建立相互之间的通信信道，允许由发送侧的照相机捕获的视频数据的帧通过信道被发送到接收侧。视频的帧通常由发送终端上的编码器编码以便于压缩视频的帧，以用于通过信道来传输。在接收终端处的相对应的解码器对所接收的视频的帧进行解码以便于对视频的帧进行解压，以用于输出到屏幕。可以用于指代编码器和/或解码器的通用术语是编解码器。

编码常常包括采用帧内预测编码、帧间预测编码、或者更常见的两者的组合(例如，在帧间编码的帧的序列之间交错的偶然的帧内编码的“关键”帧)形式的预测编码。根据帧内编码，块相对于同一帧中的其它块被编码。在该情况下，目标块根据该块与同一帧中的另一块(例如相邻块)之间的差(残差)而被编码。残差小于绝对值并且因此要求更少的位来编码，并且，残差越小，在编码中产生的位越少。根据帧间编码，目标帧中的块通常基于运动预测，相对于前面帧中的相对应的部分而被编码。在该情况下，根据用于标识目标块与要从中预测出该块的相对应的部分之间的偏移量的运动向量、以及目标块与从中预测出该块的相对应的部分之间的差(残差)来对目标块进行编码。帧间编码通常产生甚至比帧内编码更小的残差，并且因此产生甚至更少的位。

视频通话本质上是“实况(live)”通信。也即，通话的输出视频流持续地在发送终端处被实时捕获，甚至在该同一流的其它先前编码的数据在接收终端被接收并且播放时(与整个视频文件一次性被编码且然后随后被发送相反)。本文所使用的“实况”或“实时”不一定限于零延迟。然而，用户确实期望视频至少像被捕获的事件实际上发生得那样快速地以及至少像视频被预期播放得那样快速地被编码、发送和解码(平均地)。

当考虑视频编码时，特别在实时应用中，一个问题是视频的分辨率。本文所使用的术语分辨率是指像素分辨率，即以两个维度上的像素数量表示的帧或图像的尺寸(与每单位面积上的像素的意义上的分辨率不同)。像素分辨率通常以多个像素宽和高的数量的方式来表达，即列和行的数量，例如1280x720(720p)或640x480(VGA)。较低分辨率的帧将被接收用户视为较差质量。另一方面，较高分辨率的帧在被编码的比特流中产生较高的比特率(并且因此更大的带宽)。较高分辨率的帧还招致更多的用来编码的处理资源(例如，更多的处理器周期和/或存储器资源)以及更多的用来解码的处理资源。这意味着，发送比发送终端、信道或接收终端所能够实时处理的更高的分辨率的帧易于导致诸如延时或分组丢失之类的其它问题。

帧被编码的分辨率是编码器的固有特性。为了适应诸如网络容量或用户终端的处理能力等的因素，常规的编解码器(例如基于H.264和HEVC标准的那些编解码器)允许编码器被设置为在多个不同的离散分辨率中的一个处操作，所述离散分辨率例如是1280x720(720p)或者640x480(VGA)。分辨率在比特流中作为边信息被发送到解码器，以使得帧能够被相应地解码。

发明内容