[发明专利]视差矢量生成方法及装置

说明书

技术领域

本发明涉及通信领域，具体而言，涉及一种视差矢量生成方法及装置。

背景技术

三维视频(3D video)包括多路(通常为2路或3路)纹理图像序列(其中每一帧为表示被拍摄物体色彩或亮度的图像)和深度图像序列(其中每一帧为表示被拍摄物体与拍摄像机之间的距离的图像)。通常，一路纹理图像序列对应于一路深度图像序列，称为多视点视频加深度(Multi-View Video Plus Depth，简称为MVD)格式；有时，纹理图像序列可能没有对应的深度图像序列，例如两路纹理图像序列只有其中一路具有对应的深度图像序列，称为无配对的MVD(unpaired MVD)。三维视频通过视点合成(view synthesis)技术产生虚拟视点视频序列。另外，多路纹理图像之间的分辨率通常相等，多路深度图像之间的分辨率也通常相等；一路纹理图像和深度图像的分辨率可能相等，或者深度图像的分辨率小于纹理图像，例如深度图像的水平(horizontal)和竖直(vertical)分辨率均为纹理图像相应值的一半，也称纹理图像的分辨率(总像素数)为深度图像分辨率的4倍。

三维视频编码中可以借助视点间的相关性，例如两个视点的纹理图像之间具有一定的相似度(包括像素值、运动信息的相似度等)，两个视点的深度图像之间也具有一定的相似度。但是，多个视点之间存在视差，即视点间的对应点(correspondence)之间存在位置偏移，两个视点间的对应点通常由视差矢量指示。请参考图1，图1是根据相关技术的视差矢量和视差矢量起始位置之间的关系示意图，例如，当视点1图像中的中心坐标为P1(150，100)的像素区域A(像素区域例如一个像素点或者一个矩形像素块等)对应于视点2图像中的中心坐标为的P2(180，95)像素区域B，则对于A和B，由视点1图像中P1指向视点2图像中P2的视差矢量DV1为(30，-5)，30为水平分量，-5为竖直分量，即有P2＝P1+DV1，P1＝P2-DV1，矢量方向可简述为“由视点2图像指向视点1图像”，或“由视点2指向视点1”；由视点2图像中P2指向视点1图像中P1的视差矢量DV2为(-30，5)，即有P1＝P2+DV2，P2＝P1-DV2；相应的有DV2＝-DV1。不区分矢量方向笼统地说，DV1和DV2均为视点1和视点2之间的视差矢量，仅指向相反。特别的，当两个视点图像呈平行摄像机排列(1D parallel camera arrangement，即光轴平行、焦距相等、光心处于同一水平直线上、且图像分辨率相同)时，两个视点图像间任意像素的视差矢量的竖直分量为0(即竖直视差为0)；此时，仅需要指示视差矢量的水平分量即可；这种情况下，水平视差，即视差的水平分量，也简称为视差，以上P2＝P1+DV1等坐标运算可以退化为水平方向标量运算。

视差和深度之间存在一定的几何关系。某个像素区域A对应的在视点1图像和视点2图像间的视差可以根据该像素区域的深度值和这两个视点间的摄像机参数转换得到。例如，当两个视点图像为通常所说的平行摄像机排列时，竖直视差为0，各图像区域(例如一个像素点)的水平视差值DV可以通过DV＝(f×L/Z)+du得到，其中f为视点1图像对应的摄像机的焦距，L为视点1和视点2之间的基线距离，Z为由图像区域对应的深度值D指示的像素点所在物体与对应摄像机的距离，du为视点1和视点2图像中心点(principle point)之间的水平偏移。此时，各具有相同深度值的图像区域具有相同的水平视差值，即水平视差值与其所在的图像区域位置无关；通常可以先建立由深度值映射到水平视差值的映射表(look-up table)；对各区域，由其位置和深度对应的视差，找到该区域在另一个视点中的对应位置。需要说明的是，同一物体在两个不同视角图像之间的视差随着这两个视角的基线距离(baseline)增加而增加，因此，至少需要说明视差矢量对应的两个视点才能明确这个视差矢量的大小。

当两个视点的图像不满足平行摄像机排列时，则可以通过更为复杂的三维投影(3D warping)方程，由各图像区域的位置和深度(以及摄像机参数)得到各图像区域在另一视点中的投影位置，从而得到视差。此时水平视差、竖直视差与视差所在图像区域的位置有关。上述平行摄像机排列下的视差计算为此情况的一个常用的简单特例。