[发明专利]基于3D视频和自由视点电视的深度图像绘制的方法

说明书

技术领域

本发明涉及数字电视技术领域，具体涉及一种基于3D视频和自由视点电视的深度图像绘制的方法。

背景技术

随着数字多媒体技术的不断发展，人们对于视频交互性以及感官体验不断提出更高的要求，传统的二维视频以固定的平面视角观察，人们只能被动的接受视觉信息，整个视频技术的关键集中在编解码方法上，这种传统的20视频随着H.264编解码标准的推出己经走向日趋成熟，在此基础卜，各种数字高清晰电视(HOTV)纷纷走进人们的日常生活，然而除获得更高的视频分辨率外，用户无法得到进一步视频体验。时代的进步使得这种获取视频信息的传统方式越来越不能满足人们的需求，因此，人们希望下一代视频系统能够改变目前这种传统的观看方式，以获取更加逼真的白然景观表现。

3D视频和自由视点电视作为新一代数字视频技术，作为一种新型3D视频媒体技术，可以让人们感受到真实的立体世界，是当今高清平板电视之后又一个新的发展方向。3D视频和自由视点电视主要有两个特点，即:立体感和交互性，能够为人们提供前所未有的观看自由度和沉浸感，用户可以自主选择观看角度，并能通过合成不同的虚拟视角在人眼产生的视差，获取三维深度感。随着显示设备与存储技术的进步，以及越来越多的3D多媒体内容出现，3Dv/FTV距离商业化和市场普及越来越近，目前，这一领域已成为国内外相关组织研究的热点。

基于深度图像的绘制技术(DIBR)使用了深度值这一场景几何信息来绘制虚拟视点，与其他方法相比，具有最高合成视点质量，目前已被MPEG组织确认为3DV/FTV的虚拟视点绘制候选方案，有望成为下一代3DTV的标准。

DIBR虚拟视点绘制技术核心思想在于，利用深度信息和摄像机参数将已知视点的图像像素投影到未知的虚拟视点。现有的方法使用了单参考图像投影虚拟视点，使用了虚拟视点两侧的多幅图像作为参考，从不同的参考图像获取遮挡区域的信息来填补空洞。Mori等人现有存在的上述问题，采用了一种边界膨胀的方法，能够消除部分遮挡边界上的伪影，并使用了相邻像素填充来非遮挡空洞。

采用单参考图像投影虚拟视点方法的缺点在于，当虚拟摄像机距离已知摄像机过远时，虚拟画面中出现的大量遮挡导致的空洞由于缺少信息而难以得到有效的填补，极大地影响了视觉质量。而采用多参考图像的方法由于遮挡边界存在大量伪影（ghosting），不能完全消除空洞影响。

发明内容

本发明的目的是实现一种针对虚拟视点合成中存在的伪影和空洞问题，提出一种基于深度图像的视点绘制新方法。该方法首先使用视点同步生成机制得到虚拟视点的图像和深度信息，并根据深度信息擦除背景伪影；其次，通过基于深度的空洞填补和边界处理方法进一步消除视点图像中的空洞和前景边缘失真。

本发明实施例提供了一种基于3D视频和自由视点电视的深度图像绘制的方法，包括如下步骤：

同步生产机制；

背景伪影擦除；

视点合并；

基于深度的空洞填补和边界处理。

所述同步产生机制包括：

采用了一种视点同步生成机制，即使用3D变换同时生成虚拟视点的图像和深度值，采用公式如下：