[发明专利]自由视点四维空间视频编码系统的编码方法

说明书

技术领域

本发明涉及一种自由视点四维空间视频编码系统的编码方法，属于视频压缩编码技术领域。

背景技术

随着信息技术的快速发展，各种形式的立体视频处理及应用已经涌入人们的生活，如全景环幕电影，平面立体电视与电影、立体医学图像成像与传输、机器人控制立体成像、虚拟现实系统等。与此同时，立体视频处理算法及系统研究近年来已经成为国际上发展最快的研究热点之一。

目前，国内外对自由视点立体视频的研究从空间构成上不外乎两种形式：柱面/球面二维视频与平面立体视频。平面立体视频是指具有深度信息的平面三维视频序列，由具有一定视差的多个视频序列组成，表示为（x,y,v）。其利用多个视频序列的运动、视差及深度预测和增强算法，在平面视角范围内进行立体视频处理。而柱面/球面二维视频则是以平面视频处理为基础，进行柱面/球面的二维视频处理从而达到全景立体效果。其中，柱面二维视频是平面二维视频序列在柱面弧度维空间扩展后得到的360度全景视频，表示为（x,y,α）。

平面立体视频是基于平面的具有深度信息的空间三维结构视频，柱面二维视频是基于柱面的具有弧度信息的空间三维结构视频。两者虽然都能够实现一定程度的自由视点立体视频显示，但是都有不足。平面立体视频不具有弧度信息，无法显示360度全方位立体视频，而柱面二维视频不具有深度信息，无法显示基于柱面的三维视频。因此就有了自由视点四维空间视频概念。自由视点四维空间视频将柱面空间的二维视频与平面空间的三维视频结合起来，共同组成具有空间四维结构的自由视点四维空间视频系统。该系统在空间范围内具有四维数据结构，表示为平面坐标（x,y）、深度信息维v及弧度信息维α的四维空间结构（x,y,v,α）。弧度维对平面立体视频进行柱面扩展，深度维对柱面二维视频进行深度扩展，在空间上构成了既具有深度信息，又具有弧度信息的视频序列。其同时继承了柱面空间的全方位特性及平面视角的三维视觉特性，能够在柱面空间进行立体视频显示，弥补了平面立体和柱面二维视频的空间缺陷，从真正意义上重现和展示真实世界中360度全方位立体场景。

自由视点四维空间中的视频图像帧分为两类：自由视点弧度立体视频序列及自由视点视频序列组中的具有一定弧度距离的对应视频图像帧分别进行拼接而成的自由视点360度柱面全景视频序列。自由视点弧度立体视频序列编码基于现有视频处理标准，进行自由视点的弧度视差估计与弧度深度图像估计，对运动矢量、视差矢量进行旋转和变焦纠正，即针对像素点间的弧度值计算得到弧度运动矢量与弧度视差矢量。

在平面立体视频中，视差与物点深度值之间有公式（1）的计算关系。

v=lpp-e---(1)]]>

其中l为双眼到显示屏的距离为，e为两眼间距，p为两像素点之间水平视差，物点距显示屏的深度感知系数为v。加入弧度维后，视差矢量p也相应具有了弧度值，称为三维视差矢量，表示为p（x,y,α）。在不同视点的视频帧间进行基于宏块的视差估计，在搜索目标范围内计算得到平面视差矢量值，然后再根据矢量弧度值α及平面运动/视差矢量与柱面运动/视差矢量之间的关系进行相应的弧度调整，从而得到四维空间内视频序列的三维视差矢量。

由于自由视点四维空间视频处理技术及编码压缩算法是对现有平面立体及柱面二维视频处理技术的扩展，旨在实现柱面360度全景环境中任意角度的立体视频的实时处理，这是目前平面立体视频及柱面二维视频系统所无法媲美的较新的技术领域。目前，国际国内最新研究文献还未见有针对具有四维空间结构的柱面全景立体视频编码压缩系统提出相应的理论及结构。

发明内容

针对现有技术的不足，本发明提供一种自由视点四维空间视频编码系统的编码方法。