[发明专利]基于虚拟现实技术的显示方法及系统

说明书

本发明提供了一种基于虚拟现实技术的显示方法及系统，方法包括：采集终端采集音频数据、图像数据并进行预处理以生成音频信息、图像信息并发送至服务器；虚拟现实终端获取佩带用户的运动参数信息并发送至服务器，向服务器发送观看当前环境对应的三维视频的请求，接收服务器发送的与用户运动状态同步的三维视频信息并显示；服务器接收音频、图像信息及运动参数信息，并将运动参数信息在SVM模型中训练以确定运动状态，根据音频、图像信息及预置背景信息生成三维视频信息并通过调整得到与运动状态同步的三维视频信息并发送至虚拟现实终端。以此，通过结合运动状态弥补三维视频的帧内延时，降低拖影感及卡顿感，提升用户使用虚拟现实设备的体验。

技术领域

本发明涉及计算机领域，特别地，涉及一种基于虚拟现实技术的显示方法及系统。

背景技术

随着计算机技术的发展，虚拟现实(VR，Augmented Reality)技术越来越多的应用到各行各业，以教育行业为例，由于传统教学过程中缺乏生动的教学环境、老师与学生之间的互动等因素，将虚拟现实技术应用于教学应运而生，以模拟出生动的英语环境并可让学生参与互动，可带给学生更好的学习体验。

在虚拟现实技术的应用过程中，通常可采用多个摄像头从多个角度采集现实环境中的图像(比如包括老师在讲课的图像)，然后通过抠图、填充等处理，将采集到的图像与预定的背景图像(比如某种英语环境)进行合成，当虚拟现实终端的佩戴用户进行观看时，则可看到上述人物与背景合成后的“人在画中”的效果。

但是，在实际使用过程中，佩戴用户会存在头部转动、行走等不同的运动状态，显示于虚拟现实终端显示屏的画面中在每一帧结束时会跳回原点，也就是说，由于用户的视觉暂留现象会保留上一帧和当前帧的图像，从而产生拖影感及画面卡顿的现象，用户的使用体验较差。此外，由于图像是通过多个摄像头从多个方向采集，图像的数据量较大，虽然现有方案可通过软件或硬件进行图像数据的压缩，但基于目前的网络能力，仍然需要较长的传输时间，进而影响了后续步骤中的图像处理效率，因此，在用户观看的画面往往存在时延现象，也会影响用户的使用体验。

发明内容

本发明提供了一种基于虚拟现实技术的显示方法及系统，通过结合运动状态对视频的帧内延时进行弥补，以降低拖影感及卡顿感，提升用户使用虚拟现实设备的观看体验。

为实现上述目的，本发明提出了一种基于虚拟现实技术的显示方法，应用于采集终端，所述采集终端包括音频采集部分及图像采集部分，所述方法包括：

通过音频采集部分采集目标区域内的音频数据，并对音频数据进行预处理以生成音频信息；

通过图像采集部分采集目标区域内的图像数据，并对图像数据进行预处理以生成图像信息；

将音频信息及图像信息发送至服务器，以便服务器根据音频信息、图像信息、预置背景图像信息以及虚拟现实终端发送的佩带用户的运动参数信息，生成与用户运动状态同步的三维视频信息。

可选的，所述音频采集部分包括多个麦克风及音频预处理装置，

通过音频采集部分采集目标区域内的音频数据，并对音频数据进行预处理以生成音频信息，包括：

通过多个麦克风采集目标区域内的音频数据；

通过音频预处理装置提取符合预置标准的音频数据并根据提取结果生成音频信息。

可选的，所述图像采集装置包括多个摄像头及图像预处理装置，

通过图像采集部分采集目标区域内的图像数据，并对图像数据进行预处理以生成图像信息，包括：

通过多个摄像头采集目标区域内的图像数据；

通过图像预处理装置基于采集到的图像数据生成对应的IP数据流以作为图像信息。