[发明专利]一种在虚拟现实云游戏系统中降低画面抖动的方法

说明书

本发明公开了一种在虚拟现实云游戏系统中降低画面抖动的方法。具体步骤如下：S1在服务器端获取到需要传输的虚拟现实图像；S2对该图像采用分块并行编码方式来编码成视频流；S3使用网络传输协议对该视频流进行传输；S4在客户端采用缓冲区方式接收服务器端传输过来的视频流；S5对需要显示的视频帧采用并行解码的方式来解码成显示图像；S6在显示客户端使用异步扭曲技术完成图像的上屏显示；S7获取当前客户端姿态并预测一段时间之后的客户端姿态。利用本方法能有效地减小虚拟现实云游戏系统中由于硬件处理时间的波动和网络传输时间的波动带来的画面抖动问题，提高用户在虚拟现实云游戏中的主观感受质量。

技术领域

本发明涉及云游戏及计算视觉领域，尤其涉及一种在虚拟现实云游戏系统中降低画面抖动的方法。

背景技术

虚拟现实(Virtual Reality,VR)是一种综合计算机图形学、人机接口技术、网络技术、立体显示技术、仿真技术等多种科学技术发展起来的计算机领域新技术。VR技术可以生成一种高度逼真的虚拟环境，作用于用户的视觉、听觉、触觉，使用户沉浸其中，并与虚拟世界发生交互，产生身临其境的感受。这种沉浸式环境可以与现实世界类似，创造出在普通物理现实中无法实现的体验。增强现实系统可以被认为是VR的一种形式，其将虚拟信息通过现场摄像机馈送到耳机或通过智能手机或平板设备，从而使用户能够观看三维图像。目前VR技术已在许多领域得到应用，诸如医学、军事、机械制造、航空航天等。当前的VR技术最常使用虚拟现实头戴式耳机或多投影环境，有时与物理环境或道具相结合，以生成逼真的图像、声音和其他感觉，模拟用户在虚拟或虚构环境中的物理存在。使用虚拟现实设备的人能够“环顾”人造世界，在其中移动，并与虚拟特征或项目交互。

到2016年，至少有230家公司开发VR相关产品。Facebook拥有400名专注于VR开发的员工；谷歌、苹果、亚马逊、微软、索尼和三星都有专门的AR和VR团体。2016年4月5日，HTC发售了首批HTC Vive头显，这款头显是基于传感器跟踪的第一个主要版本，允许用户在一定的空间内自由移动。

随着VR设备的发展，功能更强大、价钱更合理的VR设备正在对传统游戏行业产生影响。这种以Oculus Rift、HTC Vive和PlayStation VR为代表的头显设备使游戏玩家更易于体验VR游戏。在游戏行业，越来越多的公司正在投入大量资源来开发新兴VR设备的游戏。与传统游戏相比，VR游戏为游戏玩家提供了无与伦比的沉浸在虚拟世界中、更丰富的控制以及与游戏元素的更直接互动的体验。

然而，为了保持高度沉浸式的VR体验，头显的画面质量以及操作响应性必不可少。对于画面质量，头显中需要呈现逼真且高清的游戏环境。至于响应性，用户的动作尤其是头部动作需要处理VR内容的后端系统在虚拟世界中尽可能快的反映出来。如果不满足此要求，会导致使用者产生晕眩感，这在很大程度上影响了玩家的VR体验。因此，与传统游戏相比，VR游戏通常需要更高要求和更高成本的高规格硬件设备。根据英伟达的研究表明，要获得流畅的VR游戏体验，需要以2K分辨率和90fps帧率运行游戏，而传统PC游戏只需要1080P分辨率和30fps帧率。因此，对更苛刻的游戏环境的要求仍然会阻碍许多无法负担这种游戏系统的潜在用户的普及。

为了保持流畅的VR体验，近年来提出了将计算设备集中化，利用云游戏技术来改善VR体验的可访问性。云游戏是一种新兴的游戏服务，为数以百万计用户提供新颖且高度可访问的游戏体验。通过利用弹性和高性能计算资源，云游戏将游戏处理的密集型工作负载从客户端设备转移到云服务器上。云游戏使游戏玩家免于购买昂贵的游戏机，并允许他们使用任何设备玩高质量的游戏。