[发明专利]一种用于车载多目摄像机环视系统的虚拟视点合成方法

摘要

本发明一种用于车载多目摄像机环视系统的虚拟视点合成方法，包括如下步骤；S1向环视系统中输入左右视点参考图像，进行视差估计得到左右视点深度图；S2根据左右视点深度图，分别对应生成左右视点预测深度图；S3根据左右视点参考图像及其对应的左右视点预测深度图，分别生成左右视点预测图；S4利用左右视点预测图，合成虚拟视点图像。通过引入深度可信图的思想，利用深度可信图生成遮挡图，而该遮挡图能够清楚准确地描述出在合成虚拟视点图像时，插值信息应该来自哪个视点的具体什么区域。理论和实验结果证明，这种方法能够有效的得出遮挡区域，提高虚拟视点合成图像的质量，而现有方法都无法有效地检测，跟无法得到高质量的虚拟视点图像。

主权项

一种用于车载多目摄像机环视系统的虚拟视点合成方法，其特征在于，包括如下步骤；步骤S1：向环视系统中输入左右视点参考图像，进行视差估计得到左右视点深度图；步骤S2：根据左右视点深度图，分别对应生成左右视点预测深度图；步骤S3：根据左右视点参考图像及其对应的左右视点预测深度图，分别生成左右视点预测图；步骤S4：利用左右视点预测图，合成虚拟视点图像；合成时步骤如下；步骤S41，根据左右视点深度图，计算得到左右视点深度可信图，左视点深度可信图计算公式为： CC L ( x , y ) = 1 , if | | d L - > R ( x , y ) + d R - > L ( x + d L - > R ( x , y ) , y ) | | ≤ λ 0 , otherwise ; 右视点深度可信图计算公式为： CC R ( x , y ) = 1 , if | | d R - > L ( x , y ) + d L - > R ( x + d R - > L ( x , y ) , y ) | | ≤ λ 0 , otherwise ; 其中，CCL(x,y)表示左视点深度可信值，CCR(x,y)表示右视点深度可信值，||·||表示欧式范数，(x,y)表示左视点参考图像中的一个像素点，dL‑>R(x,y)表示点(x,y)处从左视点到右视点的视差矢量，dR‑>L(x,y)表示点(x,y)处从右视点到左视点的视差矢量，λ表示判定阈值；步骤S42，根据得到左右视点深度可信图，生成遮挡图，遮挡图用于指示左右视点预测图中的有效合成信息；视点位置P的遮挡图OP(x,y)可通过下式计算：OP(x,y)={(x,y)|OPI(x,y)∪OPII(x,y)∪OPIII(x,y)}，其中OPI(x,y)，OPII(x,y)和OPIII(x,y)分别定义如下： O PI ( x , y ) = { ( x , y ) | ( x + pd L - > R ( x , y ) , y ) ∈ O L ( x , y ) } O PII ( x , y ) = { ( x , y ) | ( x + pd L - > R ( x , y ) , y ) ∈ O L ‾ } and ( x + ( 1 - p ) d R - > L ( x , y ) , y ) ∈ O R ‾ } O PIII ( x , y ) = { ( x , y ) | ( x + ( 1 - p ) d R - > L ( x , y ) , y ) ∈ O R } OPI(x,y)表示虚拟视点P处在左视点图像IL可见但在右视点图像IR中不可见的像素构成的集合，OPII(x,y)表示虚拟视点P处在左视点图像IL和右视点图像IR中都可见的像素构成的集合，OPIII(x,y)表示虚拟视点P处在右视点图像IR可见但在左视点图像IL中不可见的像素构成的集合，而OL={(x,y)|CCL(x,y)=0}，OR={(x,y)|CCR(x,y)=0}；步骤S43，根据对OPI(x,y)，OPII(x,y)和OPIII(x,y)的定义，建立用于虚拟视点合成的优化插值权重模型，左视点的优化插值权重模型表示为： ω L ( x , y ) = 1 - p 2 , if ( x , y ) ∈ O PI 1 - p , if ( x , y ) ∈ O PII 1 - 1 - ( 1 - p ) 2 , if ( x , y ) ∈ O PIII ; 右视点的优化插值权重模型表示为： ω R ( x , y ) = 1 - 1 - ( 1 - p ) 2 , if ( x , y ) ∈ O PI 1 - p , if ( x , y ) ∈ O PII 1 - p 2 , if ( x , y ) ∈ O PIII ; 其中，ωL(x,y)与ωR(x,y)分别为左右视点在(x,y)处的优化插值权重模型，p(0≤p≤0.5)为深度值的缩放因子；步骤S44，利用遮挡图和优化插值权重模型，根据左视点权重ωL和右视点权重ωR，将左视点预测图IPL和右视点预测图IPR进行加权插值融合，生成虚拟视点图像IP，计算公式为IP=ωLIPL+ωRIPR。