[发明专利]计算合成图片的方法与装置

说明书

技术领域

本发明涉及一种计算视觉场景的合成图片的方法和装置，尤其涉及计算机视觉领域、3D视频处理领域以及3D视频合成领域。

背景技术

3D视频合成是在需要虚拟视图渲染的应用中使用。该类应用包括如自由视点电视(FTV)，视点可以根据观看者的喜好选择；或者如多视角视频的3D视频编码，其中一些视图是由其他视图合成，通过限制待传输视图的数目以增强对内容的压缩。在3D视频中，视图合成是基于可用参考视图(物理视图，也称作纹理视图)创造虚拟视图的过程，其中视觉场景是从可用参考视图中获取。

视图合成的最常用方法是在[LMcMillan，Animage-basedapproachtothree-dimensionalcomputergraphics，博士论文，美国，北卡罗来纳大学教堂山分校，1997年4月]中描述，被称作基于深度图像绘制(DIBR)方法。该方法利用深度图从视点定义场景点之间的距离，以使将对应的纹理信息投射成虚拟视图位置。

深度图可定义为描述视觉场景中各部分间距的信息，可以以灰度图像的形式呈现，或者可以使用视差图呈现，其中视差图的取值与代表深度图的取值成反比。基于DIBR合成方法中，可以分为前向投影算法和后向投影算法两种方法。在前向投影算法中，参考视图中图片的每个样本的坐标投射到合成图片上，形成非整数样本坐标。这意味着合成图片中样本的实际取值必须以某种方式从参考视图投射出的最近样本估算出来。另一方面，在后向投影方法中，合成图片中每个样本的坐标都投射到参考视图上。因此，样本的取值是基于靠近该投影样本的位置的参考视图中图片的样本决定。两种方法在一些方面是有区别的，比如空洞区域检测和处理以及同时扫描超过一张参考视图从而通过插值方法生成合成输出图片或者所需图像的可能性也就是说，水平方向放置的左参考视图和右参考视图能被区分开来。依据基于深度图像绘制(DIBR)方法的最有效的尖端虚拟视图合成算法依赖于前向投影算法，该前向投影算法合并由左参考视图和右参考视图合成的图片，从而生成合成输出图片。当前最尖端的解决方案—HEVC测试模型采用如图1所示的合成算法100。HEVC测试模型为[H.Schwarz，K.Wegner，TestModelunderConsiderationforHEVCbased3Dvideocoding，MPEGDoc，m12350，2011年11月]中描述的JCT-3V(3D联合ITU-T/MPEG标准化工作)所采用。