[发明专利]一种利用眼动跟踪数据的多分辨率虚拟现实设备屏幕内容编码算法

说明书

技术领域

本发明涉及屏幕内容视频通信领域，尤其是一种利用眼动跟踪数据的多分辨率虚拟现实设备屏幕内容编码算法。

背景技术

在虚拟现实领域中，由于价格及便利性的优势，面向普通消费者的主要是头戴式虚拟设备。用户可以通过头戴式显示器透过光学镜片在距离很近的屏幕上观看虚拟场景。随着虚拟现实用户的不断增加，虚拟现实应用内容也在逐渐丰富，设备之间进行屏幕内容分享的需求也在急剧增加，分享通常需要以屏幕内容视频的形式在虚拟现实设备之间进行实时地传输，因此对于传输的时延有很高的要求。

与相机拍摄视频相比，屏幕内容视频通常含有大量静止或活动的由计算机生成的图形、文字，可能包含较大的、与自然界不同的运动(比如演示文档中物体的渐进、渐出)、等特性。屏幕内容视频编码是屏幕内容视频通信中决定系统性能的核心技术之一。

目前，已有的屏幕内容编码方法主要专注于提高压缩性能、降低编码复杂度等方面，并已经在这些方面取得了很大进展。然而，上述屏幕内容编码方法在针对虚拟现实头戴式设备的屏幕内容视频编码方面仍存在如下缺点：

已有的屏幕内容编码方案未考虑到用户的视觉特性。人类视力的敏锐度随着偏离视网膜中心的距离增大而急剧下降。在通过虚拟现实头戴式设备观看虚拟场景时，用户的视力在同一时刻不可能对屏幕上所有区域保持高敏锐度，因此对屏幕范围内的所有内容都采用高分辨率编码不是最经济的编码方式。如果能对凝视点进行估计并据人类视觉系统特性进行屏幕内容编码将能进一步提高屏幕内容编码的编码效率。

发明内容

本发明所要解决的技术问题在于，提供一种利用眼动跟踪数据的多分辨率虚拟现实设备屏幕内容编码算法，能够提高虚拟现实头戴式显示设备的屏幕内容视频的编码效率。

为解决上述技术问题，本发明提供一种利用眼动跟踪数据的多分辨率虚拟现实设备屏幕内容编码算法，包括如下步骤：

(1)使用虚拟现实头戴式设备的眼动跟踪数据预测未来的视点，采用自回归滑动平均方法进行视点预测；

(2)基于预测的视点信息，对屏幕内容的区域进行划分，分配相应的重要性等级，为重要等级高的区域分配较多的编码资源，为重要等级低的区域分配较少的编码资源；

(3)对分辨率调节后的屏幕内容视频进行编码生成码流，经网络发送给虚拟现实用户，经解码后显示在虚拟现实头戴式设备上。

优选的，步骤(1)中，自回归滑动平均方法进行视点预测具体为：如果将在时刻t的视点位置和眼球运动速度分别记为p_t和v_t，那么时刻t的眼球运动速度可预测为：

v_t＝αv_t-1+(1-α)(p_t-p_t-1)

其中α为0≤α≤1的常数，那么未来在t+f时刻的视点位置可用下列公式进行预测：

p_t+f＝p_t+fv_t。

优选的，步骤(2)中，对屏幕内容的区域进行划分，划分的片均匀或不均匀分布，片的重要等级依据距离未来视点的距离而定。

优选的，步骤(2)中，含有未来视点的片划分为最重要的区域，视点可能移动的几个方向为次重要的区域，其他区域为较为不重要的区域。

本发明的有益效果为：本发明对用户视点范围内的屏幕内容采用高分辨率编码，对其余部分采用较低分辨率编码，这样能大幅减少码率，使得在有限的码率下用户视觉体验更好。

附图说明

图1为本发明的方法流程示意图。

图2(a)为本发明的基于均匀分布的片的区域划分示意图。

图2(b)为本发明的基于不均匀分布的片的区域划分示意图。

具体实施方式

如图1所示，一种利用眼动跟踪数据的多分辨率虚拟现实设备屏幕内容编码算法，包括如下步骤：

(1)使用虚拟现实头戴式设备的眼动跟踪数据预测未来的视点，采用自回归滑动平均方法进行视点预测；

(2)基于预测的视点信息，对屏幕内容的区域进行划分，分配相应的重要性等级，为重要等级高的区域分配较多的编码资源，为重要等级低的区域分配较少的编码资源；

(3)对分辨率调节后的屏幕内容视频进行编码生成码流，经网络发送给虚拟现实用户，经解码后显示在虚拟现实头戴式设备上。