[发明专利]一种基于RGBD相机的动态三维人物重建和直播方法

说明书

本发明公开了一种基于RGBD相机的动态三维人物重建和直播方法，包括步骤S1：对采集到的RGBD图像进行实时抠像，将所述RGBD图像的人物部分抠出；步骤S2：对抠像后的所述RGBD图像进行压缩，并采用视频推流协议进行实时推流；步骤S3：在移动端接收所述RGBD图像的抠像结果，并进行解压，生成三维点云，将点云连成面，得到人体的三维模型；步骤S4：在移动端对三维模型进行双目渲染，通过佩戴三维显示设备即可看到具有立体感和AR效果的图像。该方法计算量相对较小，可以在移动端进行重建，重建速度快，效果好。该方法应用场景广，不仅可以应用于实时三维人物直播，还可以应用于全息通话和全息会议等多个领域，用户可以通过AR，VR和全息设备进行观看。

技术领域

本发明涉及实时三维重建领域，尤其涉及一种基于RGBD相机的动态三维人物重建和直播方法。

背景技术

由于当前直播行业的兴起，传统的二维视频直播形式单一，沉浸感差，亟需新的直播形式的介入，来提升观众的体验感。而随着增强现实(AR)、虚拟现实(VR)和全息技术的发展，AR、VR和全息设备为三维数据的呈现提供了显示终端，未来的直播方式也极有可能是三维直播。目前，已有一些新的直播形式逐渐涌现出来，接下来简要介绍和分析其中的三种：

1、采用绿幕抠图的技术，将主播人物抠出来，然后更换背景，从而产生主播置身其他场景的效果。这种方式技术上比较简单，形式上具有一定的新颖性，但是最终仍旧是以二维形式呈现在观众面前，缺乏沉浸感。

2、采用360度全景视频直播技术，这是一种多摄像头向外拍摄的方式，比较适合室外直播，用户转动角度观看周围的场景。虽然具有一定的沉浸感，但这使用的是一种二维视频拼接技术，缺乏立体感，同时不适合室内主播的直播，毕竟这时观众的关注点是在主播身上而不是周围的环境。

3、采用3D虚拟偶像技术，对二维视频中主播的骨骼点和脸部关键点进行提取，分析人物的运动，并将人体的运动和脸部的表情信息映射到3D虚拟角色身上，从而驱动3D虚拟偶像具有和真人一样运动和表情。相比前两种方式，这是一种真正的3D呈现方式，可以在AR、VR和全息设备中进行展示，同时虚拟偶像是多样性的，可以是卡通形象也可以偏真人形象，会有一定的受众和市场。但是毕竟与主播本人的形象不同，对于一些大主播和明星来说，粉丝往往更喜欢的是主播本人，而不是一个卡通或者跟与主播相像的虚拟形象。

而本发明的技术是使用RGBD相机直接对主播本人进行实时三维重建和直播，得到的三维人物是主播的真人，可以最大程度上呈现出主播真实的三维形象，从而给观众以更强烈的沉浸感和交互性，具有极佳的体验效果。

目前人体的三维重建常用的方法主要有两种：

1、利用多台RGB相机进行多角度拍摄和重建，然后利用运动恢复结构(SFM)算法进行模型的三维重建。该方法重建质量高，但是速度非常慢，重建一帧往往就需要5-10分钟的时间，几乎无法应用于实时重建的场景。

2、利用多台RGBD相机进行多角度拍摄和重建，可以直接根据RGBD信息恢复出三维点云，通过提前标定的相机参数可以将点云数据融合起来。该方法的重建质量相对较低，但是重建速度相对较快，在电脑端可以达到实时重建的效果。但是由于重建得到的数据量巨大，带宽要求高，难以进行实时传输。

因此，本领域的技术人员致力于开发一种基于RGBD相机的动态人物三维重建和直播方法，在三维人物重建质量和速度上进行提升，使其可以满足直播对三维人物效果和实时性的要求。该技术可以解决三维重建速度慢、数据量大等问题，可应用于三维主播、全息会议和通话等多个领域。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是满足直播对三维人物效果和实时性的要求。

为实现上述目的，本发明提供了一种基于RGBD相机的动态三维人物重建和直播方法，包括如下步骤：