[发明专利]基于改进虚拟视点合成的多视点视频超分辨率重建算法

说明书

本发明公开了一种基于改进虚拟视点合成的多视点视频超分辨率重建算法，步骤(1)、基于DIBR的虚拟视点合成，在参考视点的深度图的辅助下，建立虚拟视点图像和参考视点图像之间的映射关系；步骤(2)、基于双向DIBR的投影一致性检查，步骤(3)、高频信息提取与超分辨率重建，得到最终的超分辨率重建结果。与现有技术相比，本发明可以有效的去除小裂痕，消除背景与前景之间的像素渗透现象；对空洞部分，通过提取插值图像的对应像素点进行填充，取得了较好的视点合成效果，在此基础上通过高频提取与插值视图相融合取得了良好的超分辨率重建结果。

技术领域

本发明涉及图像视频处理领域，特别是涉及一种应用于混合分辨率多视点视频的超 分辨率重建算法。

背景技术

近年来，以3D立体视频(Stereo Video)和自由视点视频(Free viewpoint Video，FTV)为代表的多视点视频(Multi-view Video)成为数字多媒体技术研究的热门方向。 在多视点视频系统中，需要同时传输多个视点的视频序列，存储和带宽负担很大。混合 分辨率(Mixed Resolution，MR)多视点视频架构是解决这一问题的有效方法。采用混 合分辨率视频架构，至少一个视点采用低分辨率视频进行传输，其余视点以高分辨率方 式进行传输，能够有效地降低传输数据量，达到了节省带宽的目的，并且可以显著的减 少处理时间。低分辨率视频清晰度较低，会影响观看者视觉体验，导致视觉上的不舒适 感。为了保证观看者的视觉体验，需要在接受端对低分辨率视点进行超分辨率重建。

深度图像绘制(Depth Image Based Rendering，DIBR)技术，是一种计算简单且效果优秀的虚拟视点合成技术。通过DIBR技术可得到该低分辨率视点的高分辨虚拟视点， 进而虚拟视点的高频信息，并与低分辨率插值视图进行相加，完成超分辨率重建。但是， 由于DIBR技术映射得到的视图像素渗透、投影重叠和空洞等一些问题，合成虚拟视图 的部分高频信息并不准确，而且可能与原图存在亮度差异，故需要对重建结果进一步改 进。

在附加深度图的混合分辨率多视点视频格式(MR-MVD)中，提供了每个视点的 原深度图，参考视点的原图和合成虚拟视点的低分辨率彩图。对于附加深度图的混合分 辨率多视点视频格式(Mixed Resolution Multi-view Video plus Depths，MR-MVD)，可 利用高分辨率视点的深度信息和相机参数，通过虚拟视点合成技术得到相邻的低分辨率 视点的高分辨初始估计，这为多视点视频的超分辨率重建提供了新的思路。

发明内容

针对传统DIBR技术合成虚拟视图存在的像素渗透、投影重叠和空洞等问题，导致合成虚拟视图部分高频信息失真，本发明提出一种基于改进虚拟视点合成的多视点视频超分辨率重建算法，采用虚拟视点向参考视点逆向投影与参考视点向虚拟视点前向投影相结合的方式，来解决DIBR合成虚拟视点过程中出现的像素渗透和投影重叠问题，再 对虚拟视点低分辨率彩图进行插值，用得到的插值图像完成对合成虚拟视图空洞的填 补，由此完成了超分辨率重建的过程

通过双向DIBR技术改善合成虚拟视图质量，提升多视点视频的超分辨率重建效果。

本发明的基于改进虚拟视点合成的多视点视频超分辨率重建算法，该方法包括以下 步骤：

步骤1、基于DIBR的虚拟视点合成，在参考视点的深度图的辅助下，建立虚拟视 点图像和参考视点图像之间的映射关系；该步骤的具体处理如下：

已知视点个数N的高分辨率图像V_N及其对应的深度图D_N，利用V_N内某一像素点 (u,v)的深度值d以及拍摄该视点摄像机的摄像机内部参数矩阵A_N、旋转矩阵以及转移 矩阵T_N，映射为世界坐标系的(x,y,z)点，表达式如下：