[发明专利]基于最优相机选择的遮挡目标透视成像方法

说明书

技术领域

本发明涉及一种遮挡目标透视成像方法，特别涉及一种基于最优相机选择的遮挡目标透视成像方法。

背景技术

相机阵列透视成像是计算机视觉领域的一个重要研究课题，在视频监控、隐藏目标探测等方面具有广泛的应用。

文献“Synthetic Aperture Imaging using Pixel Labeling via Energy Minimization,PR,46(1):174-187,2013”公开了一种基于能量最小化像素标记的合成孔径成像方法。该方法将透视成像转化为前景点/非前景点的分类问题，首先对每个相机视角下的像素利用能量最小化方法标记属于遮挡物的前景像素点，然后，在给定聚焦深度对非前景像素点进行平均，获得遮挡目标透视成像。虽然这种方法能够对指定深度目标的透视成像，但是由于进行了多图像平均，多图像之间存在色彩差异，仍然无法获得清晰的成像。此外，该方法只能去除单层遮挡物，对多个深度上都有遮挡物的透视成像无能为力。

发明内容

为了克服现有基于能量最小化像素标记的合成孔径成像方法所成图像清晰度差的不足，本发明提供一种基于最优相机选择的遮挡目标透视成像方法。该方法采用由近及远逐个深度成像的方式，将前面所有深度的遮挡物信息传递给下一个成像深度，从而穿透多个遮挡物进行透视成像。对于当前深度透视成像，转化为最优相机选择和图像拼接问题，利用能量最小化优化函数为每个像素点选择最优可视相机视角，获得拼接后的透视成像结果。由于将相机阵列合成孔径透视成像转化为最优相机视角选择和图像拼接问题，可以使得获得的成像结果更加清晰。

本发明解决其技术问题所采用的技术方案是：一种基于最优相机选择的遮挡目标透视成像方法，其特点是包括以下步骤：

步骤一、首先进行相机内外参数标定。阵列中共有N个相机视角，每个视角图像分辨率为mxn，利用基于二维标定板的标定方法进行内部参数标定，而后利用获取的内部参数标定相机的外部参数。将所有N个相机视角下的所有像素点标记为可选状态，指定第一个目标所在深度d₁为当前成像深度；

步骤二、对于指定成像平面上像素点(x,y)，利用相机参数，寻找在所有N个相机视角下的像素点坐标{(x_i,y_i)|i=1,2,…,N}。若1≤x_i≤n&1≤y_i≤m并且第i个视角下(x_i,y_i)为可选状态，则提取相应的像素值p(x_i,y_i)。这些像素值构成的集合记为S(x,y)，样本点个数记为N_S(x,y)。将S(x,y)中样本点进行最近邻聚类，扫描所有样本点，将其分类到最近且满足最大距离阈值D的类别中，并更新相应的类中心，若未能分类成功，就建立新的类，并将当前样本作为这个类的中心。统计每个相机视角像素点(x_i,y_i)对应像素值p(x_i,y_i)所在类别中样本点个数Number_i(x,y)，那么每个相机视角的权重为w_i(x,y)＝Number_i(x,y)/N_S(x,y),i＝1,2,...,N。

步骤三、将成像平面视角所有像素点集合记为Ω，相机标号集合记为C＝{1,2,...,N}，寻找从Ω到C的标签映射g:Ω→C，对于像素点(x,y)，如果g(x,y,d₁)＝c,c∈C，那就表示第c个视角被选作点(x,y)在深度d₁上的最优相机视角。

建立当前深度d₁上的目标能量函数：

E(g,d₁)=Ed(g)+E_s(g)   (1)

数据项E_d(g)表示所有像素点选择相机视角代价的总和，平滑项E_s(g)是一个正则项，鼓励相邻像素点选择相同的相机视角，使得拼接得到的合成图像在局部区域内清晰平滑。数据项的计算公式如下：