[发明专利]双目立体视频转换多目立体视频的方法

说明书

技术领域

本发明涉及视频处理技术，具体的讲是双目立体视频转换多目立体视频的方法。

背景技术

与二维视频显示相比，3D形式的立体视频显示与人的视觉特征更加匹配，能够使人们在观看图像时更富有立体感和沉浸感。目前，立体显示主要分为眼镜式和裸眼式两种，其中眼镜式立体显示主要以主动快门式和被动偏光式为主，裸眼式主要分为视差屏障式、柱状透镜式等。眼镜式立体技术主要集中在消费级市场，如立体电视、立体投影等，裸眼式立体技术由于技术及成本因素，目前主要于机场、展览等商用显示及小尺寸消费电子产品。裸眼式立体显示技术因为不需要额外的设备即可让观众欣赏到立体效果，因而受到了消费者的普遍期待和各国厂家的重视，正成为下一代立体显示的发展方向。

现有大尺寸裸眼3D电视通常为多视点自由立体显示方式，这就要求视频信号源为多视点立体视频。多视点立体视频是指由位置不同的多个摄像机在相同时刻对相同场景进行拍摄时产生的多个视图的序列，一个视图对应一个视点。目前立体拍摄主要采用双目摄像机实现立体摄制，这对摄像设备和摄像技术要求较高，国内外已有多家公司推出立体摄像机和立体照相机产品。而针对多视点视频采集还存在一定的技术瓶颈，目前多视点视频通常采用立体建模制作或双目立体视频转多目立体视频方式产生。立体建模主要是指立体动画制作，这种方式成本较贵；双目立体视频转多目立体视频是一种类似自动2D转3D的方式，由于视点是通过双目立体虚拟绘制出来的，这种方式的主要缺点是转换的多目立体视频存在失真。为了让现有双目立体视频可在多视点裸眼3D电视上进行显示，将双目立体视频转换为多目立体视频已经成为裸眼3D视频处理的一个研究热点。

发明内容

本发明提供了一种双目立体视频转换多目立体视频的方法，可用于多视点立体视频的生成，并且满足3D，特别是裸眼3D的播放要求，使转换的多视点立体视频图像变化连续，从而让观看者获得更好的立体体验。

本发明的双目立体视频转换多目立体视频的方法，包括：

a．获取双目立体视频内容，对获取的双目立体视频进行解码得到双目立体视频序列，并对双目立体视频的左/右图像进行分离，获取单路图像的属性，并按所述双目立体视频序列的顺序将左/右一对双目立体图像送入缓冲区进行处理；

b．对缓冲区的双目立体图像进行立体匹配，计算左/右图像的视差关系，并得到左/右路图像对应的深度图，以左/右其中一路图像为参考，计算左/右图像正视差最大值；

c．根据步骤b计算的左/右图像的视差关系，确定虚拟视点的插入位置及相邻视点的视差偏移量；

d．根据步骤c确定的虚拟视点位置和相邻视点的偏移量，通过左/右路图像和对应的深度图对虚拟视点进行合成，得到多视点立体图像；

e．判断双目立体视频序列转换是否结束，如果未结束进入步骤a，结束了进入步骤f；

f．根据多视点3D显示特性，对得到的多视点立体图像进行后期处理和压缩，得到满足3D要求的多视点立体视频。

本发明的方法是通过对左右分离的立体图像进行立体匹配，可计算该对立体图像的视差深度图信息，再通过基于深度图的视图合成技术对虚拟视点进行生成，最终得到多视点立体视频内容。

具体的，步骤a在获取双目立体视频内容时，如果双目立体视频采用的是拼接方式进行压缩的，则调用2D视频解码库得到双目立体视频序列，然后对左/右图像进行分离；如果图像在水平或垂直方向上有分辨率损失，则对分辨率有损失的方向按照正常宽高比进行还原；对蓝光3D视频压缩格式，调用H.264MVC解码库对左/右路图像进行解码，得到分离的左/右路图像序列。

具体的，步骤b中对缓冲区内双目立体图像采用基于区域的匹配方法对该对图像进行立体匹配。假设左路图像的像素点(x₁,y₁)，通过立体匹配可找到该像素在右路图像的匹配点(x_r,y_r)，采用M×N子块（M代表宽度方向的像素个数，N代表高度方向的像素个数）为模板进行像素匹配。假设左路图像以(x₁,y₁)为中心的模板为T，匹配右路图像的子图像为T′，可通过下列公式计算T和T'的相似度：