[发明专利]用于应用流的方法和系统

说明书

用于应用流的预取编码的系统和方法。在一些实施方式中，可以在服务器计算机系统处接收客户端设备具有多个模版帧的表示的指示。由服务器计算机系统提供给客户端设备的多个图像帧可以被处理，其中每个图像帧的处理包括，确定该图像帧是否满足模版帧中的一个的阈值相似性。对于满足模版帧中的一个的阈值相似性的每个图像帧执行的操作可以包括，生成该图像帧和该图像帧满足与其的阈值相似性的模版帧之间的差异的表示、生成用于渲染该图像帧的指令、以及向客户端设备提供该指令。

技术领域

本说明书涉及应用流(application streaming)以及用于应用流的预取的编码。

背景技术

在应用流中，服务器可以运行应用并且将对于应用渲染的视频流传输(streaming)到由用户使用的远程客户端设备。然后用户可以基于流传输到客户端设备的视频与应用交互。由服务器生成的视频可以在服务器上被捕获作为视频帧、被编码作为视频比特流、并且被发送到客户端用于解码和回放。

为了维持高交互性，期望在服务器处的内容生成和在客户端处的内容回放之间的延迟的减小。应用流中的延迟可能导致不满意的用户体验。例如，延迟可能使得应用看起来无响应或使得滞后。延迟在很大程度上是由于三个因素：服务器处理时间、客户端处理时间、和网络传送时间。服务器处理时间和客户端处理时间可能主要依赖于可用计算资源并且在视频帧中可能变化不大。然而，对于给定的网络带宽，网络传送时间可能随着视频帧的被编码的比特流大小增加而增加。

包含诸如在桌面应用中的窗口弹出、或游戏中的等级之间的场景过渡动画的突发的内容改变的视频帧，由于在内容中呈现的新的信息的量，所述视频帧通常可能难以编码。为了使用传统视频编码算法来编码这些帧，服务器可以通过在编码器设置中降低图像质量来限制所编码的比特流大小以满足延迟要求，或可以利用增加的比特流大小来维持质量但是牺牲延迟。

发明内容

通常，在本说明书中所描述的主题的一个创新方面能够通过可以包括以下各项的方法来具体实现：在服务器计算机系统处的接收客户端设备具有多个模版帧的表示的指示的动作、以及通过服务器计算机系统处理多个图像帧以提供到客户端设备，其中每个图像帧的处理包括确定该图像帧是否满足与模版帧中的一个的阈值相似性。对于满足与模版帧中的一个的阈值相似性的每个图像帧，额外的动作包括：生成该图像帧和模版帧(该图像帧满足与其的阈值相似性)之间的差异的表示；生成用于渲染该图像帧的指令，该指令包括(i)图像帧满足与其的阈值相似性的模版帧的表示的标识、以及(ii)图像帧和模版帧之间的差异的表示；并且向客户端设备提供该指令。

其它版本包括相应的系统、装置、和计算机程序，被配置为执行被编码在计算机存储设备上的方法的动作。

这些版本或其它版本各自可以可选地包括以下特征中的一个或多个。例如，在一些实施方式中，对于不满足与模版帧中的一个的阈值相似性的每个图像帧，动作可以包括：向客户端设备提供图像帧的表示、或图像帧与在该图像帧之前立即被处理的另一图像帧之间的差异的表示。

在一些实施方式中，阈值相似性包括确定图像帧与来自一个或多个模版帧中的特定模版帧、和/或图像帧的紧接在先的图像帧最相似。

在一些实施方式中，对于每个图像帧，确定该图像帧是否满足与模版帧中的一个的阈值相似性包括以下各项动作：确定该图像帧的签名和模版帧中的一个的签名之间的距离分数；确定该图像帧的签名和满足距离阈值的模版帧中的一个的签名之间的距离分数；以及响应于确定该图像帧的签名和满足距离阈值的模版帧的签名之间的距离分数，来确定图像帧满足与模版帧中的一个的阈值相似性。

在一些实施方式中，确定图像帧的签名和模版帧中的一个的签名之间的距离分数可以包括，基于图像帧的像素的亮度直方图来生成图像帧的签名。