[发明专利]基于像素标记和合成孔径成像的遮挡目标三维重建方法

摘要

一种基于像素标记和合成孔径成像的遮挡目标三维重建方法，由确定相机内参矩阵K、生成聚焦到遮挡平面πa的合成孔径图像、标记合成孔径图像中位于遮挡平面的像素点、生成聚焦到目标平面πd的合成孔径图像、重建目标物体上点的三维坐标步骤组成。由于本发明采用了多视角的关联像素信息，将合成孔径成像的方法聚焦于聚焦平面，通过代价函数标记聚焦像素点，剔除非聚焦平面上的点，减小障碍物对重建目标物体的影响，提高了重建像素的清晰度和完整度，可用于场景分析和遮挡目标重建等技术领域。

主权项

1.一种基于像素标记和合成孔径成像的遮挡目标三维重建方法，其特征在于由下述步骤组成：(1)确定相机内参矩阵K用内角点标定板对采集相机进行标定，通过标定板摆放在不同位置的图像，提取标定板上12～20个内角点所对应的图像坐标与世界坐标，用公式(1)式中PI为图像坐标系中内角点的齐次坐标、PW为世界坐标系中内角点的齐次坐标、λ为比例系数、K为相机内参矩阵、R为相机相对于标定板的旋转矩阵、t为相机相对于标定板的平移向量、θT为零向量的转置，得到相机的内参矩阵K式中f为相机的焦距，x0、y0分别为位于图像中心处图像主点的横坐标和纵坐标；(2)生成聚焦到遮挡平面πa的合成孔径图像用由8～16个相机水平组成的相机阵列拍摄目标物体，采集各个位于不同视角的相机图像，用公式(3)得到投影到参考平面πr的图像Wir＝Hi·Fi     (3)式中，Fi为各个相机所拍摄到的图像，Wir为Fi经过仿射变换投影到平面πr的图像，Hi为从Fi投影到参考平面πr的仿射矩阵，其中i＝1,2,…,N，N为相机阵列中相机的数量，用公式(4)得到聚焦到遮挡平面πa所需要平移的视差ΔpΔp＝ΔX·μ       (4)式中，ΔX为相机之间的相对位置，μ为遮挡平面πa与参考平面πr的相对深度，相对深度μ＝(a‑r)/a      (5)式中a为遮挡平面πa的深度，r为参考平面πr的深度；用公式(6)对Wir中的像素进行平移式中pir为Wir中像素的齐次坐标，pia为pir经过平移操作后像素对应的齐次坐标，θT为零向量的转置，Δpia为由横向和纵向视差构成的二维向量，用公式(7)得到合成孔径图像中像素pa所对应的像素值S(pa)式中N为相机阵列中相机的数量，pia为Wir经过平移后图像中的像素，Y(pia)为像素pia所对应的像素值；(3)标记合成孔径图像中位于遮挡平面的像素点用公式(8)定义像素标记的代价函数L(pa)L(pa)＝D(pa)+αN(pa)      (8)式中D(pa)为代价函数的自身项，N(pa)为代价函数的领域项，α为邻域项的权重，式中m为像素pa在Wia中的标准四邻域像素集合，Wia为Wir经过平移后的图像，p′i,p′j为m中的元素，Y(p′i)、Y(p′j)分别为像素p′i、像素p′j的像素值，其中i,j＝1,2,…,N，N为相机阵列中相机的数量；得合成孔径图像中各个像素的标记代价L(pa)，与方差阈值ε为3倍N进行比较；若L(pa)小于或等于方差阈值ε，将像素pa标记为遮挡平面上的点，并将像素pa对应的标记项Rl(pa)设为0；若L(pa)大于方差阈值ε时，不标记像素pa，将像素pa对应的标记项Rl(pa)设为1；(4)生成聚焦到目标平面πa的合成孔径图像按照步骤(2)中公式(3)～公式(6)的方法，得Wir经过平移操作后的图像Wia；用公式(11)得到标记筛选后合成孔径图像中像素pd所对应的像素值S′(pd)式中H为标记项Rl(pa)等于1的相机数量，Rl(pa)为像素pa的标记项，pid为图像Wia中的像素，Y′(pid)为像素pid所对应的像素值；(5)重建目标物体上点的三维坐标用公式(12)记录像素p_d在相机坐标系C_V中的齐次坐标式中，为相机坐标系C_V中点的第一维度坐标，为相机坐标系C_V中点的第二维度坐标，d为平面π_d的深度；分别用公式(13)、公式(14)表示式中，为图像坐标系中点的第一维度坐标，为图像坐标系中点的第二维度坐标，f为相机的焦距；按照步骤(4)生成聚焦到不同深度平面的合成孔径图像，得到目标物体上点的齐次坐标式中d_min为合成孔径成像可聚焦的最小深度，d_max为合成孔径成像可聚焦的最大深度；将齐次坐标转化为笛卡尔坐标P_D式中分别为齐次坐标的第一维度坐标、第二维度坐标、第三维度坐标，q为齐次坐标P_W的第四维度坐标，完成目标物体上点的三维坐标重建。