[发明专利]一种基于几何信息的人工复眼相机三维图像处理方法

摘要

本发明公开了一种基于几何信息的人工复眼相机三维图像处理方法，包括以下步骤：人工复眼相机通道图像提取；各通道图像平场修正；图像空间坐标计算；图像匹配代价计算；计算初始深度；图像重构；重构图像过分割；对初始深度进行校正；输出重构图像和深度图。本发明使人工复眼相机深度估计和重构效果更好，可用于人工复眼相机三维重建领域。

主权项

1.一种基于几何信息的人工复眼相机三维图像处理方法，其特征在于，包括S1、图像提取，将人工复眼相机捕捉图像根据成像通道位置提取出每个成像通道的图像；S2、通道图像平场修正，消除每个通道图像的边缘衰减效应：S21、对所有成像通道，采集一幅白色参考图像W(x,y)和一幅黑色参考图像B(x,y)；S22、计算像素响应Pr(x,y)＝W(x,y)‑B(x,y),对Pr(x,y)利用最小二乘法进行拟合得到像素响应P(x,y)；S23、对每一通道采集的图像I′(x,y)进行修正，得到修正后的通道图像I(x,y)，S3、计算每个通道图像在对应候选深度d的空间坐标：S31、计算每个通道图像以各自成像中心为坐标原点的空间坐标T(Dx,Dy,d)，计算方法为：其中Δψh和Δψv表示对应像素的水平和垂直入射角，计算方法为：其中和表示通道主光轴的水平和垂直入射角；I_x和I_y表示像素的水平和垂直坐标；I_cx和I_cy表示图像中心像素的水平和垂直坐标；Δθ表示相机的角度采样间隔；S32、将所有通道图像的空间坐标转换到以中心通道主光轴为原点的统一坐标系：针对在第i个通道的任意像素I(x,y)，其统一坐标系下的坐标T′(D′x,D′y,d)计算方法为：其中Oix和Oiy表示通道i的主光轴相对于中心通道主光轴的偏移量；S4、基于每个通道图像在不同深度d的空间坐标，计算不同候选深度d的匹配代价：S41、在每个候选深度平面d，根据各个通道图像像素的空间坐标，对图像进行重采样，采样间隔为：其中W和H分别表示重采样图像的水平和垂直长度；S42、以每个重采样点为中心，计算该点的重采样亮度I′(rx,ry,d)和匹配代价C(rx,ry,d)：其中I(k)表示在三维坐标k下的对应像素亮度；Ne表示以重采样点I′(rx,ry,d)为中心，尺寸为Rw×Rw的窗口内的像素个数；m表示图像的RGB通道；S43、利用双边带滤波对匹配代价进行聚合，获得稳健的匹配代价，计算方法为：其中(qx,qy)表示坐落在以(rx,ry)为中心的大小WL×WL的局部窗P的重采样像素坐标点；ω(qx,qy,d)表示结合颜色相似性和几何接近性的支撑点(qx,qy)的权重：其中Δcl表示两个像素点在RGB颜色空间的相似度，Δgl表示中心像素和支持像素点的空间距离，γa和γb是经验值，用来调节颜色相似性和几何接近性的影响；S5、根据每个像素点在不同深度的匹配代价，对目标深度进行初始估计并对图像进行重构：S51、根据聚合匹配代价，利用WTA，即Winner‑takes‑all方法对目标深度进行估计，S52、根据估计的目标深度，对重构图像每个像素点的亮度按下式进行选择，In(rx,ry)＝I'(rx,ry,d'(rx,ry))；S6、对S51所得的初始目标深度进行校正，具体包括：S61、利用一种超级像素方法对S52所得重构图像进行过分割，随后对任意两个相邻的超级像素l和s根据其颜色相似度进行合并，其中M和v分别表示超级像素在Lab颜色空间的均值和方差，α为人为设定参数，用于调节超级像素合并标准；S62、对S51所得到的初始目标深度图的稳健性进行判断，得到稳健的稀疏深度图；对每个像素点，按下式计算其深度稳健性，其中Cs(rx,ry,d')和Cs(rx,ry,d1')分别表示像素点(rx,ry)的最小匹配代价和倒数第二小匹配代价，因此稀疏深度图D(rx,ry)可由下式所得，其中λ为人为设定参数，用于调节稳健性的强度；S63、利用S61的超级像素分割图像，将属于同一个超级像素的点中稳健的深度信息赋值到不稳健的像素点，如果同一超级像素中含有多个深度信息，则以多数为准；S7、输出结果：将S52的重构图像以及S63得到的最后深度信息图作为输出，得到最终结果。