[发明专利]可拓展式三维显示远程视频通信方法

说明书

技术领域

本发明涉及远程视频通信领域，尤其涉及一种可拓展式三维显示远程视频通信方法。

背景技术

远程视频通信系统在当今社会发挥着越来越重要的作用，业界采用了很多技术来提高系统虚拟现实的效果，使远程会议的参与者获得更加身临其境的体验。三维显示技术在学术界及产业界都经历了空前的发展，正可以使用在远程视频通信系统中。由于最新的三维显示技术可以提供自然的可视化效果以及重要的视觉线索，例如眼神会意，面部表情，肢体语言等等，将它应用到远程视频通信系统中，优势不言而喻。

学术界已有一些应用于远程视频通信的三维显示技术，其中视差型自体视三维显示是一种较为成熟的方法。这种多视角的自体视三维显示在一些固定的视角提供了高分辨率的三维图像。然而，随着观察位置数量的提升，这种方法的显示效果会出现问题，它不能在较大的观察角度范围内提供光滑的运动视差，这意味着远程视频通信参与者走动的自由度被严重地限制了。另外一些基于屏幕旋转原理设计的体三维显示系统由于其旋转机制的结构设计，限制了其显示体积，也从成本，简洁性和可伸缩性的方面限制了其在商业远程视频通信系统中的应用。

面向市场的三维远程视频通信系统需要满足一些功能需求。首先，最基本的要求在于使与会者们能够交谈、走动、做一些动作，在这方面的限制越少越好。其次，需要提供自然的，具有平滑的双眼视差和运动视差的三维显示效果。同时，还需要快速地捕获与会者的外形及语言等信息，以便实时呈现出来。从商业角度而言，又要求任何端对端的三维显示远程视频通信系统成本较低、简洁、易于部署，以便于进行大范围的市场推广。

在实时人物三维信息捕捉方面，RGB-D相机的出现为这个问题提供了便捷且成本低廉的潜在解决方案，然而将其应用到视频通信场合，尤其是三维视频通信场合的报道非常少。

发明内容

本发明的目的是克服现有的远程视频通信解决方案在虚拟现实效果、用户自由度以及实现成本上的不足，提供了一种面向市场的可拓展式三维显示远程视频通信系统及方法。

一种可拓展式三维显示远程视频通信方法，实施步骤如下：

数据发送端：获取第一用户的人物图像和语音信息，并提取出人物图像中的特征信息和纹理

1）利用RGB-D相机获取第一用户的人物图像，该人物图像中包含了纹理图像和深度图像；

从纹理图像中提取出面部特征信息及表情特征信息；

从深度图像中提取肢体特征信息并重建出人物点云；

2）利用所述的人物点云对步骤1）中各特征信息进行优化得到优化后的特征信息，通过该优化后的特征信息生成三维模型A；

3）将所述的三维模型A投影到对应的纹理图像，将该三维模型A所对应的纹理数据提取出来；在采集人物图像的同时获取语音信息，将该语音信息连同优化后的特征信息，以及提取出来的纹理数据发送给第二用户；

4）循环操作步骤1）～3），利用后一时刻的数据对前一时刻的数据进行更新并发送给第二用户；

数据接收端：

第二用户通过网络接收来自第一用户的数据后，提取其中的优化后的特征信息生成三维模型B，利用所述提取出来的纹理数据对三维模型B进行渲染，通过三维显示设备输出渲染结果，并播放所述的语音信息。

在数据发送端获取第一用户的人物图像和语音信息，并提取出人物图像中的特征信息和纹理数据，然后发送至数据接收端，数据接收端的第二用户根据所接受到的数据进行建模和渲染处理，并通过三维显示设备输出，以及播放对应的语音信息，实现数据发送端和数据接收端的远程视频通信。

在数据发送端，利用RGB-D相机获取第一用户的人物图像时，在不同时刻改变RGB-D相机相对第一用户的视角，得到不同角度下第一用户的人物图像，然后根据人物图像中的各特征信息，构建三维模型，实现三维显示的效果。

所述的语音信息、优化后的特征信息以及提取出来的纹理数据经压缩、打包处理后通过网络发送给所述的第二用户。其中，语音信息和优化后的特征信息的数据量较小，也可不进行压缩处理，对数据传输的速度影响大不，但是纹理数据的数据量较大，占用的资源较多，如不进行精简与压缩处理，其传输的速度较慢，第一用户与第二用户间存在较大的时间差，影响视频通信的实时性。

利用后一时刻的数据对前一时刻的数据进行更新时，利用后一时刻的优化后的特征信息对前一时刻的优化后的特征信息进行更新处理，并对应生成更新后的三维模型A，将更新后的三维模型A投影到该后一时刻的纹理图像，提取出更新后的纹理数据。