[发明专利]基于眼睛跟踪信息的图像区域中的自适应参数

说明书

一种显示系统将屏幕分为多个区域并且将不同的一组渲染/编码参数应用于每个区域。该系统将第一组参数应用于由用户的眼睛的中央凹看到的第一区域。该系统还可以将第二组参数应用于由眼睛的旁中央凹看到的第二区域，并且将第三组参数应用于由眼睛的在旁中央凹外部的区域看到的第三区域。选择第一组参数产生相对高的图像质量，而第二组参数产生中间质量，并且第三组参数产生较低质量。结果，可以利用较少计算能力和较少带宽来渲染、编码和传输第二区域和第三区域。

技术领域

本发明总体上涉及眼睛跟踪，并且更具体地，涉及基于眼睛跟踪信息的图像区域中的自适应参数的使用。

背景技术

在各种不同背景下，图像被渲染、编码和显示给用户。在许多情形下，用于渲染、编码和传输用于显示给用户的图像的过程可以消耗大量计算资源，尤其当图像具有相对高的分辨率，诸如1080p或4K时或者当图像是组成视频的帧序列的一部分，诸如通过游戏应用程序生成的视频文件或场景时。这可以导致不期望的副作用，诸如，较高的功率消耗和较长的处理时间。

发明内容

显示系统将不同的多组参数应用于不同的图像区域。该系统接收观看显示屏的屏幕的用户的一只或两只眼睛的眼睛跟踪信息。该系统基于眼睛跟踪信息确定第一屏幕区域和第二屏幕区域。在一个实施方式中，第一屏幕区域是屏幕的由用户的眼睛的中央凹看到的部分，并且第二屏幕区域是屏幕的由视网膜的在中央凹外部的部分看到的部分。该系统通过将第一组参数应用于第一图像区域并且将第二组参数应用于屏幕的第二图像区域来处理用于显示在屏幕上的图像。第一图像区域是要显示在第一屏幕区域中的图像的部分，并且第二图像区域是要显示在第二图像区域中的图像的部分。第二组参数比第一组参数导致更低的图像质量，但是用户不太可能感知到较低的图像质量，因为视网膜的在中央凹外部的部分比中央凹的敏感度低。因此，可以利用较少的计算能力和较少的带宽处理图像。

显示系统可以是头戴式显示器(HMD)的一部分。HMD可以是虚拟现实(VR)系统、增强现实(AR)系统、混合现实(MR)系统、或者它们的某种组合的一部分。

尤其在所附权利要求中公开了根据本发明的针对一种系统、存储介质和方法的实施方式，其中，在一个权利要求类别(例如，系统)中提及的任何特征也可以在另一个权利要求类别(例如，方法、存储介质或计算机程序)中要求保护。仅由于形式的原因而选择了所附权利要求中的从属关系或后向引用。然而，也可以要求保护对任何上述权利要求的故意后向引用(具体地，多个从属关系)导致的任何主题内容，以便权利要求及其特征的任何组合被公开并且不管在所附权利要求中选择的从属权利要求都可以要求保护。可以要求保护的主题内容不仅包括所附权利要求中阐述的特征的组合，而且还包括权利要求中的特征的任何其他组合，其中，权利要求中提及的每个特征可以与权利要求中的任何其他特征或其他特征的组合相结合。此外，本文中描述或描绘的任何实施方式和特征可以在单独权利要求中和/或与本文中描述或描绘的任何实施方式或特征或者与所附权利要求的任何特征的任何组合中要求保护。

在实施方式中，一种方法可包括：

接收包括看到显示装置的屏幕的用户的眼睛的至少一个图像的眼睛跟踪信息；

基于眼睛跟踪信息，确定与屏幕的一区域对应的第一屏幕区域，第一屏幕区域包含用户的注视点，该注视点表示在眼睛跟踪信息被捕获时用户看向的屏幕上的点；

基于眼睛跟踪信息，确定与屏幕的一区域对应的与第一屏幕区域分离的第二屏幕区域；

编码用于显示在屏幕上的图像，该编码包括：

基于第一组编码参数编码图像的第一图像区域，第一图像区域要显示在第一屏幕区域中，并且

基于第二组编码参数编码图像的第二图像区域，第二图像区域要显示在第二屏幕区域中，第二组编码参数比第一组编码参数导致更低的质量；并且

将编码的图像传输至显示装置以显示在屏幕上。