[发明专利]采用优化技术的单张图片半自动二维转三维方法和装置

说明书

技术领域

本发明涉及二维图片到三维图片的半自动转换技术，属于图像、多媒体信号处理技术领域。

背景技术

由于三维视频内容的短缺，二维视频到三维视频的转换技术越来越成为研究热点。自动的转换技术虽然不用人工参与，但是得到的三维效果还不能满足人们的要求，与其相比，半自动的转换技术通过增加少量的人力，却能得到更为准确的深度图，因此，这种方法普遍被人接受。

在半自动的二维视频到三维视频转换系统中，一般的做法是：先是对整个视频提取关键帧，然后人工设定关键帧的深度，最后根据非关键帧与关键帧的相关性，通过深度传播算法插值出非关键帧的深度。在这个过程中，关键帧的深度分配至关重要。关键帧的深度分配属于单幅图片的深度分配，如何快速方便而且准确的为图片分配深度，许多研究者都提出了不同的方法。

所有方法的目的都是一致的，即采用最少和最方便的人工输入得到最好的深度质量。Xun Cao等人采用的是基于分割的单幅图片的二维-三维转换，该方法先利用人工辅助进行图像分割，然后针对每个分割的物体的特征，采用合适的深度模型对其进行分配深度。但是如果图片中的物体数量太多，那么这种方法势必需要大量的人工参与，而且该方法依赖于图像分割算法的性能。Xi Yan等提出一种基于T-型结的深度传播算法。该算法需要用户设定一些代表性像素的深度值和T-型结的大概位置，然后深度传播算法结合这些先验知识，颜色和边缘信息得到整个图的深度。该方法能得到较好的深度图，但是需要用户了解T-型结的定义，而且算法也依赖于T-型结点的精确定位。

本发明针对当前算法用户输入复杂，算法对其他算法的依赖性强等缺点，提出一种基于优化方法的单幅图半自动二维转三维方法。该方法只需用户简单的设定代表像素的深度值，就能得到整个图片的深度，简单方便，而且不需要用户学习任何相关的专业知识也不依赖其他算法的性能。

发明内容

本发明的二维图片到三维图片的半自动转换方法，根据单幅图片中的深度一致性原理，将单幅图片的深度分配问题建模成一个有约束的优化问题并求解，具体步骤为：

（1）根据图片场景的结构特征和场景中物体的深度特性，人工选定若干在深度上具有代表性的代表像素，并为选出的代表像素设定相应的深度值；

（2）以步骤（1）中人工设定的代表像素的深度值为约束条件，通过最小化代表像素的深度值与其相邻像素的加权深度之间的差异，求得整幅图片全部像素的深度值，从而得到该幅图片的深度图；

（3）根据步骤（2）中得到的该幅图片的深度图，通过基于深度的渲染技术得到高质量的三维图片。

本发明的二维图片到三维图片的半自动转换装置，包括如下组成部分:

（1）深度值人工设定模块，该模块将图片进行显示，并提供操作界面，使用户能够在单幅图片上人工选定若干在深度上具有代表性的代表像素，并为选出的代表像素设定相应的深度值；

（2）深度图计算模块，该模块以人工设定的代表像素的深度值为约束条件，通过最小化代表像素的深度值与其相邻像素的加权深度之间的差异，求得整幅图片全部像素的深度值，从而得到该幅图片的深度图；

（3）三维图片形成模块，该模块根据该幅图片的深度图，通过基于深度的渲染技术得到高质量的三维图片。

附图说明

图1是根据本发明开发的软件界面；

图2是本发明针对一些测试图片得到的深度图，其中第一列是原始图片并带有用户设定的代表像素的深度值，第二列是本发明得到的整个图片的深度图。

具体实施方式

本发明的半自动二维转三维方法，先要求用户通过直观观察，根据图片场景的结构特征和场景中物体的深度特性，人工选定若干在深度上具有代表性的代表像素，并为选出的代表像素设定相应的深度值。具体实现时，可采用涂鸦的方式在计算机显示屏上为图片设定一些代表像素的深度值，然后本发明将图片的深度计算建模成一个有约束的优化问题，通过最小二乘算法求解该问题。

图1是根据本发明开发的友好用户界面。该界面不仅能辅助用户方便快速地设定一些代表像素的深度值，而且用户只需单击“Extract Depth”按钮就能完成整个深度问题的建模和求解过程。此外，该界面还有保存结果，重置结果，擦除错误的深度设定等额外功能。

对照图1中的界面，本发明的二维转三维装置包括以下模块：

1.深度值人工设定模块：该模块将图片进行显示，并提供操作界面，是用户能够根据输入图片的特征，人为的设定一些代表像素的深度，该模块的实现流程如下：