[发明专利]虚拟现实系统的数据处理方法、装置、服务器和介质

说明书

本申请实施例提供一种虚拟现实系统的数据处理方法、装置、服务器和介质，当移动式VR设备或者手持设备的传感器数据发生丢包或者延时时，服务器根据设备在前n个采集时刻的传感器数据，预测设备在当前采集时刻的传感器数据，进而根据预测得到的设备在当前采集时刻的传感器数据进行图像渲染处理。使用预测得到的传感器数据进行图像渲染等操作，使得服务器能够渲染出连续的纹理图像，包括视口位置变化的连续，以及图像中手持设备位置更新的连续，有效降低网络扰动造成的影响，有效提升用户的沉浸式体验感。

技术领域

本申请实施例涉及服务器技术领域，尤其涉及一种虚拟现实系统的数据处理方法、装置、服务器和介质。

背景技术

虚拟现实(Virtual Reality，VR)技术是利用计算机模拟产生一个三维空间的虚拟环境，该虚拟环境能够逼真的模拟视觉、听觉、触觉等感知信息，用户与VR设备交互时，可以使用户产生身临其境的感受和体验。

VR系统通常包括头戴式设备、手持设备和服务器，以触觉反馈场景为例，现有技术的数据处理流程如下：手持设备将传感器数据发送给头戴式设备，头戴式设备将头戴式设备和手持设备的传感器数据同步处理后，打包一起发送给服务器进行VR图像的渲染，服务器将渲染后的图像和触觉反馈结果发送给头戴式设备，头戴式设备对接收到的图像根据延时和丢包情况进行异步时间扭曲(Asynchronous Timewarp，ATW)或异步空间扭曲(Asynchronous Spacewarp，ASW)的插帧处理，并将接收到的触觉反馈结果转发给手持设备进行触觉反馈，人眼在看到头戴式设备显示的图像画面后，作出人体机能的反馈，即手持设备和头戴式设备位置的变化。

但是，现有的方案，受网络延时和丢包影响，会出现画面、手持设备的震动反馈不连续等问题，尤其随着云渲染技术的发展，网络延时和丢包的情况会更加严重，其对用户体验的影响是不可忽视的。

发明内容

本申请实施例提供一种虚拟现实系统的数据处理方法、装置、服务器和介质，使得服务器能够渲染出连续的纹理图像，有效降低网络扰动造成的影响，有效提升用户的沉浸式体验感。

第一方面，本申请实施例提供一种虚拟现实系统的数据处理方法，应用于服务器，所述方法包括：

获取设备的传感器数据，所述设备包括移动式虚拟现实VR设备，或者，所述移动式VR设备和用于与所述移动式VR设备交互的手持设备；

当所述传感器数据发生丢包或者延时时，根据所述设备在前n个采集时刻的传感器数据，预测所述设备在当前采集时刻的传感器数据，n为大于或等于1的整数；

根据预测得到的所述设备在所述当前采集时刻的传感器数据进行图像渲染处理；

将渲染后的图像发送给所述移动式VR设备。

在一些实施例中，所述传感器数据包括设备的线性速度、线性加速度、角速度、角加速度、位置信息和朝向信息。

在一些实施例中，所述根据所述设备在前n个采集时刻的传感器数据，预测所述设备在当前采集时刻的传感器数据，包括：

根据所述设备在前n个采集时刻的线性速度、线性加速度、角速度、角加速度，确定所述设备在所述当前采集时刻的线性速度、线性加速度、角速度、角加速度；

根据所述设备在所述当前采集时刻的线性速度和线性加速度，计算所述设备从前一个采集时刻到所述当前采集时刻的位移量；

根据设备在前一个采集时刻的位置信息和所述位移量，得到所述设备在所述当前采集时刻的位置信息；

根据所述设备在所述当前采集时刻的角速度，计算所述设备从所述前一个采集时刻到所述当前采集时刻的旋转角度；

根据所述设备在所述前一个采集时刻的朝向信息和所述旋转角度，得到所述设备在所述当前采集时刻的朝向信息。