[发明专利]一种用于车载多目摄像机环视系统的虚拟视点合成方法

权利要求书

1.一种用于车载多目摄像机环视系统的虚拟视点合成方法，其特征在于，包括如下步骤；

步骤S1：向环视系统中输入左右视点参考图像，进行视差估计得到左右视点深度图；

步骤S2：根据左右视点深度图，分别对应生成左右视点预测深度图；步骤S3：根据左右视点参考图像及其对应的左右视点预测深度图，分别生成左右视点预测图；步骤S4：利用左右视点预测图，合成虚拟视点图像；合成时步骤如下；

步骤S41，根据左右视点深度图，计算得到左右视点深度可信图，

左视点深度可信图计算公式为：

CCL(x,y)=1,if||dL->R(x,y)+dR->L(x+dL->R(x,y),y)||≤λ0,otherwise;]]>

右视点深度可信图计算公式为：

CCR(x,y)=1,if||dR->L(x,y)+dL->R(x+dR->L(x,y),y)||≤λ0,otherwise;]]>

其中，CC_L(x,y)表示左视点深度可信值，CC_R(x,y)表示右视点深度可信值，||·||表示欧式范数，(x,y)表示左视点参考图像中的一个像素点，d^L->R(x,y)表示点(x,y)处从左视点到右视点的视差矢量，d^R->L(x,y)表示点(x,y)处从右视点到左视点的视差矢量，λ表示判定阈值；

步骤S42，根据得到左右视点深度可信图，生成遮挡图，遮挡图用于指示左右视点预测图中的有效合成信息；视点位置P的遮挡图O_P(x,y)可通过下式计算：

O_P(x,y)={(x,y)|O_PI(x,y)∪O_PII(x,y)∪O_PIII(x,y)}，

其中O_PI(x,y)，O_PII(x,y)和O_PIII(x,y)分别定义如下：

OPI(x,y)={(x,y)|(x+pdL->R(x,y),y)∈OL(x,y)}OPII(x,y)={(x,y)|(x+pdL->R(x,y),y)∈OL‾}and(x+(1-p)dR->L(x,y),y)∈OR‾}OPIII(x,y)={(x,y)|(x+(1-p)dR->L(x,y),y)∈OR}]]>

O_PI(x,y)表示虚拟视点P处在左视点图像I_L可见但在右视点图像I_R中不可见的像素构成的集合，O_PII(x,y)表示虚拟视点P处在左视点图像I_L和右视点图像I_R中都可见的像素构成的集合，O_PIII(x,y)表示虚拟视点P处在右视点图像I_R可见但在左视点图像I_L中不可见的像素构成的集合，而O_L={(x,y)|CC_L(x,y)=0}，O_R={(x,y)|CC_R(x,y)=0}；

步骤S43，根据对O_PI(x,y)，O_PII(x,y)和O_PIII(x,y)的定义，建立用于虚拟视点合成的优化插值权重模型，

左视点的优化插值权重模型表示为：

ωL(x,y)=1-p2,if(x,y)∈OPI1-p,if(x,y)∈OPII1-1-(1-p)2,if(x,y)∈OPIII;]]>

右视点的优化插值权重模型表示为：

ωR(x,y)=1-1-(1-p)2,if(x,y)∈OPI1-p,if(x,y)∈OPII1-p2,if(x,y)∈OPIII;]]>

其中，ωL(x,y)与ωR(x,y)分别为左右视点在(x,y)处的优化插值权重模型，p(0≤p≤0.5)为深度值的缩放因子；

步骤S44，利用遮挡图和优化插值权重模型，根据左视点权重ω_L和右视点权重ω_R，将左视点预测图I_PL和右视点预测图I_PR进行加权插值融合，生成虚拟视点图像I_P，计算公式为I_P=ω_LI_PL+ω_RI_PR。