[发明专利]一种基于移动光阑的显微三维测量系统及方法

权利要求书

1.一种基于移动光阑的显微三维测量系统相应的方法，该基于移动光阑的显微三维测量系统包括光学显微镜、加装于所述的光学显微镜上且对准所述的光学显微镜的目镜的相机、用于水平放置圆点标定板的升降台、计算机，所述的光学显微镜布置于所述的圆点标定板的正上方使所述的光学显微镜的目镜正对所述的圆点标定板，所述的相机的输出端与所述的计算机连接，所述的升降台的驱动电机与所述的计算机连接，所述的光学显微镜的目镜与所述的圆点标定板之间布置有可水平左右移动的光阑，所述的光学显微镜的光轴与所述的升降台的移动轨迹一致，所述的光学显微镜的光轴与所述的圆点标定板垂直，所述的光学显微镜的光轴与所述的光阑的移动轨迹垂直；该基于移动光阑的显微三维测量系统还包括用于带动所述的光阑水平左右移动的滑台，所述的滑台的驱动电机与所述的计算机连接；其特征在于：该方法包括以下步骤：

①使光学显微镜的光轴与升降台的移动轨迹一致；然后将一块圆点标定板水平放置于升降台的顶端平面上，并使圆点标定板与光学显微镜的光轴垂直；接着使装于滑台上的光阑的移动轨迹与光学显微镜的光轴垂直；再使光阑位于光学显微镜的目镜与圆点标定板之间；其中，圆点标定板中的相邻两个实心圆点的中心间距为e，圆点标定板中的实心圆点的直径为d，d＜e，d和e的单位均为mm，光阑的小孔的直径为D，D∈[1,5]，D的单位为mm；

②确定光阑的小孔的初始位置：控制滑台使光阑的小孔中心位于光学显微镜的光轴上；然后控制滑台使光阑水平左移L，即使得光阑的小孔中心与光学显微镜的光轴之间的距离为L，将光阑的小孔中心此时的位置确定为光阑的小孔的初始位置，并记为T_L；其中，L∈[2,4]，L的单位为mm；

确定圆点标定板的初始位置：控制升降台带动圆点标定板垂直移动，在观察者从计算机观察到的圆点标定板图像最清晰时控制升降台停止移动；然后控制升降台带动圆点标定板垂直上移，在观察者从计算机观察到的圆点标定板图像从最清晰转变为刚好模糊时控制升降台停止垂直上移，将升降台此次垂直上移的距离记为Z_S，并将圆点标定板此时的位置确定为圆点标定板的初始位置，并记为P₀；其中，Z_S的单位为mm；

③在圆点标定板处于初始位置P₀时，在圆点标定板中的4个实心圆点上各放置一个微小标记物，并使得以4个微小标记物所在的实心圆点的中心为顶点构成的形状始终为矩形；然后观察者观察计算机显示的圆点标定板图像，移动4个微小标记物，使得以4个微小标记物所在的实心圆点的中心为顶点构成的矩形呈现在圆点标定板图像中且为面积最大的矩形，将该矩形记为A'；

④控制滑台使光阑水平右移2L，将光阑的小孔此时的位置记为T_R；然后观察者观察计算机显示的圆点标定板图像，移动4个微小标记物，使得以4个微小标记物所在的实心圆点的中心为顶点构成的矩形呈现在圆点标定板图像中且为面积最大的矩形，将该矩形记为A，并保存此时的圆点标定板图像，记为再控制滑台使光阑水平左移2L，使光阑的小孔处于位置T_L，并保存此时的圆点标定板图像，记为其中，A包含于A'内，在圆点标定板上A在宽度方向上包含的实心圆点的列数为W，在圆点标定板上A在高度方向上包含的实心圆点的行数为H，即在圆点标定板上A包含的实心圆点的总个数为W×H，W和H均为正整数；

⑤取圆点标定板上的A的左上角顶点为坐标原点O，指向同一行实心圆点的中心为X轴正方向，指向同一列实心圆点的中心为Y轴正方向，升降台垂直下移方向为Z轴正方向，建立三维坐标系OXYZ；

分别对和进行二值化处理，对应得到和各自的二值化图像；然后采用连通区域标记算法对的二值化图像进行处理，提取得到中的每个实心圆点区域及每个实心圆点区域的中心的多个候选坐标位置；同样，采用连通区域标记算法对的二值化图像进行处理，提取得到中的每个实心圆点区域及每个实心圆点区域的中心的多个候选坐标位置；接着将中与A对应的矩形区域内的每个实心圆点区域的中心的多个候选坐标位置中的任一个候选坐标位置确定为该实心圆点区域的中心的最终坐标位置，将中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(u_l,i,j,0,v_l,i,j,0)；同样，将中与A对应的矩形区域内的每个实心圆点区域的中心的多个候选坐标位置中的任一个候选坐标位置确定为该实心圆点区域的中心的最终坐标位置，将中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(u_r,i,j,0,v_r,i,j,0)；其中，i和j均为正整数，1≤i≤W，1≤j≤H；

⑥控制升降台带动圆点标定板垂直下移Δα，将圆点标定板此时的位置记为P₁，并保存此时的圆点标定板图像，记为接着控制滑台使光阑水平右移2L，使光阑的小孔处于位置T_R，并保存此时的圆点标定板图像，记为再控制滑台使光阑水平左移2L，使光阑的小孔处于位置T_L；其中，Δα∈(Z_S/100,Z_S/50)，Δα的单位为mm；

⑦分别对和进行二值化处理，对应得到和各自的二值化图像；然后采用连通区域标记算法对的二值化图像进行处理，提取得到中的每个实心圆点区域及每个实心圆点区域的中心的多个候选坐标位置；同样，采用连通区域标记算法对的二值化图像进行处理，提取得到中的每个实心圆点区域及每个实心圆点区域的中心的多个候选坐标位置；接着根据中与A对应的矩形区域内的每个实心圆点区域的中心的多个候选坐标位置，确定中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置，将中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(u_l,i,j,1,v_l,i,j,1)，(u_l,i,j,1,v_l,i,j,1)为中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的多个候选坐标位置中与(u_l,i,j,0,v_l,i,j,0)的欧氏距离最小的候选坐标位置；同样，根据中与A对应的矩形区域内的每个实心圆点区域的中心的多个候选坐标位置，确定中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置，将中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(u_r,i,j,1,v_r,i,j,1)，(u_r,i,j,1,v_r,i,j,1)为中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的多个候选坐标位置中与(u_r,i,j,0,v_r,i,j,0)的欧氏距离最小的候选坐标位置；

计算升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的每个实心圆点的中心在三维坐标系OXYZ上的三维坐标，将升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点的中心在三维坐标系OXYZ上的三维坐标记为(x_i,j,1,y_i,j,1,z_i,j,1)，x_i,j,1＝(i-1)×e，y_i,j,1＝(j-1)×e，z_i,j,1＝1×Δα；然后计算升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的每个实心圆点对应的多光圈成像偏差，将升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点对应的多光圈成像偏差记为Δu_i,j,1，Δu_i,j,1＝u_l,i,j,1-u_r,i,j,1；其中，x_i,j,1,y_i,j,1,z_i,j,1对应表示升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点的中心在三维坐标系OXYZ上的X轴坐标、Y轴坐标、Z轴坐标；

⑧再重复执行步骤⑥和步骤⑦共N-1次，在升降台带动圆点标定板第k次垂直下移Δα后，将圆点标定板此时的位置记为P_k，将此时的圆点标定板图像记为将光阑水平右移2L后的圆点标定板图像记为将中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(u_l,i,j,k,v_l,i,j,k)，(u_l,i,j,k,v_l,i,j,k)为中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的多个候选坐标位置中与(u_l,i,j,k-1,v_l,i,j,k-1)的欧氏距离最小的候选坐标位置；将中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置记为(u_r,i,j,k,v_r,i,j,k)，(u_r,i,j,k,v_r,i,j,k)为中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的多个候选坐标位置中与(u_r,i,j,k-1,v_r,i,j,k-1)的欧氏距离最小的候选坐标位置；将升降台带动圆点标定板第k次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点的中心在三维坐标系OXYZ上的三维坐标记为(x_i,j,k,y_i,j,k,z_i,j,k)，x_i,j,k＝(i-1)×e，y_i,j,k＝(j-1)×e，z_i,j,k＝k×Δα；将升降台带动圆点标定板第k次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点对应的多光圈成像偏差记为Δu_i,j,k，Δu_i,j,k＝u_l,i,j,k-u_r,i,j,k；其中，N为正整数，符号为向下取整运算符号，k为正整数，1≤k≤N，x_i,j,k,y_i,j,k,z_i,j,k对应表示升降台带动圆点标定板第k次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点的中心在三维坐标系OXYZ上的X轴坐标、Y轴坐标、Z轴坐标；

⑨将升降台带动圆点标定板每次垂直下移Δα后获得的圆点标定板上的A内的每个实心圆点的中心在三维坐标系OXYZ上的Z轴坐标与对应的多光圈成像偏差组成一对数据对，将z_i,j,k与Δu_i,j,k组成的数据对记为(z_i,j,k,Δu_i,j,k)；然后利用二次多项式拟合圆点标定板上的A内的每个实心圆点对应的N对数据对，得到圆点标定板上的A内的每个实心圆点的中心在三维坐标系OXYZ上的Z轴坐标与对应的多光圈成像偏差的关系，将圆点标定板上的A内的第i列第j行的实心圆点的中心在三维坐标系OXYZ上的Z轴坐标z_i,j与对应的多光圈成像偏差Δu_i,j的关系描述为：z_i,j＝a_i,jΔu_i,j²+b_i,jΔu_i,j+c_i,j；其中，a_i,j、b_i,j和c_i,j均为拟合得到的系数，共得到W×H组系数；

计算升降台带动圆点标定板每次垂直下移Δα后圆点标定板上的A内的每个实心圆点对应的清晰面移动距离，将升降台带动圆点标定板第k次垂直下移Δα后圆点标定板上的A内的第i列第j行的实心圆点对应的清晰面移动距离记为Δz_i,j,k，Δz_i,j,k＝z_i,j,k-c_i,j；然后将升降台带动圆点标定板每次垂直下移Δα后圆点标定板上的A内的每个实心圆点对应的清晰面移动距离与对应的多光圈成像偏差组成一对数据对，将Δz_i,j,k与Δu_i,j,k组成的数据对记为(Δz_i,j,k,Δu_i,j,k)；接着利用二次多项式拟合圆点标定板上的A内的所有实心圆点对应的共N×W×H对数据对，得到圆点标定板上的任意一点对应的清晰面移动距离Δz与对应的多光圈成像偏差Δu的关系，描述为：Δz＝aΔu²+bΔu+c；其中，a、b和c均为拟合得到的系数；

根据升降台带动圆点标定板第1次垂直下移Δα后圆点标定板上的A内的所有实心圆点的中心在三维坐标系OXYZ上的X轴坐标和Y轴坐标，确定W×H个三维散点，第i列第j行的三维散点的三维坐标为(x_i,j,1,y_i,j,1,c_i,j)；然后利用平面拟合方法对W×H个三维散点进行平面拟合，得到空间平面，其方程表示为z＝b₁+b₂x+b₃y；其中，b₁、b₂和b₃均为拟合得到的系数，(x,y,z)表示三维坐标系OXYZ中的空间点的三维坐标，x,y,z对应表示三维坐标系OXYZ中的空间点的X轴坐标、Y轴坐标、Z轴坐标；

⑩确定升降台带动圆点标定板每次垂直下移Δα后光阑的小孔处于位置T_L时获得的圆点标定板图像中、与圆点标定板上的任意一点对应的坐标位置(u,v)，与圆点标定板上的该点对应的清晰面移动距离Δz之间的关系，将坐标位置(u,v)与Δz的关系描述为：其中，1≤u≤W',1≤v≤H'，W'表示升降台带动圆点标定板每次垂直下移Δα后光阑的小孔处于位置T_L时获得的圆点标定板图像的宽度，H'表示升降台带动圆点标定板每次垂直下移Δα后光阑的小孔处于位置T_L时获得的圆点标定板图像的高度，a_f、b_f、d_f、a_g、b_g和d_g均为二次多项式系数；

将升降台带动圆点标定板每次垂直下移Δα后获得的圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置的横坐标与圆点标定板上的A内的每个实心圆点对应的清晰面移动距离组成一对数据对，将u_l,i,j,k与Δz_i,j,k组成的数据对记为(u_l,i,j,k,Δz_i,j,k)；然后利用二次多项式拟合圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域与圆点标定板上的A内的每个实心圆点对应的N对数据对，得到圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置的横坐标与圆点标定板上的A内的每个实心圆点对应的清晰面移动距离的关系，将圆点标定板图像中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置的横坐标u_l,i,j与圆点标定板上的A内的第i列第j行的实心圆点对应的清晰面移动距离Δz_i,j的关系描述为：u_l,i,j＝a_f,i,j×Δz_i,j²+b_f,i,j×Δz_i,j+d_f,i,j；其中，a_f,i,j、b_f,i,j和d_f,i,j均为拟合得到的系数，共得到W×H组系数；

将升降台带动圆点标定板每次垂直下移Δα后获得的圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置的纵坐标与圆点标定板上的A内的每个实心圆点对应的清晰面移动距离组成一对数据对，将v_l,i,j,k与Δz_i,j,k组成的数据对记为(v_l,i,j,k,Δz_i,j,k)；然后利用二次多项式拟合圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域与圆点标定板上的A内的每个实心圆点对应的N对数据对，得到圆点标定板图像中与A对应的矩形区域内的每个实心圆点区域的中心的最终坐标位置的纵坐标与圆点标定板上的A内的每个实心圆点对应的清晰面移动距离的关系，将圆点标定板图像中与A对应的矩形区域内的第i列第j行的实心圆点区域的中心的最终坐标位置的纵坐标v_l,i,j与圆点标定板上的A内的第i列第j行的实心圆点对应的清晰面移动距离Δz_i,j的关系描述为：v_l,i,j＝a_g,i,j×Δz_i,j²+b_g,i,j×Δz_i,j+d_g,i,j；其中，a_g,i,j、b_g,i,j和d_g,i,j均为拟合得到的系数，共得到W×H组系数；

将a_f,i,j和b_f,i,j组成一对数据对，共得到W×H对数据对；然后对这W×H对数据对进行线性拟合，得到系数二次多项式a_f与二次多项式系数b_f之间的关系，描述为：a_f＝k_f,a×b_f+c_f,a；其中，k_f,a和c_f,a均为拟合得到的系数；

同样，将d_f,i,j和b_f,i,j组成一对数据对，共得到W×H对数据对；然后对这W×H对数据对进行线性拟合，得到二次多项式系数d_f与二次多项式系数b_f之间的关系，描述为：d_f＝k_f,d×b_f+c_f,d；其中，k_f,d和c_f,d均为拟合得到的系数；

将a_g,i,j和b_g,i,j组成一对数据对，共得到W×H对数据对；然后对这W×H对数据对进行线性拟合，得到二次多项式系数a_g与二次多项式系数b_g之间的关系，描述为：a_g＝k_g,a×b_g+c_g,a；其中，k_g,a和c_g,a均为拟合得到的系数；

将d_g,i,j和b_g,i,j组成一对数据对，共得到W×H对数据对；然后对这W×H对数据对进行线性拟合，得到二次多项式系数d_g与二次多项式系数b_g之间的关系，描述为：d_g＝k_g,d×b_g+c_g,d；其中，k_g,d和c_g,d均为拟合得到的系数；

令并令然后令M＝B·C^-1；

将待测物体水平放置于升降台的顶端平面上，并使待测物体与光学显微镜的光轴垂直；然后控制滑台使光阑的小孔处于位置T_L，并保存此时的待测物体图像，作为第一图像；接着控制滑台使光阑水平右移2L，使光阑的小孔处于位置T_R，并保存此时的待测物体图像，作为第二图像；再利用立体匹配算法对第一图像和第二图像进行立体匹配，得到第一图像与第二图像的视差图，记为I_d；其中，第一图像、第二图像、I_d的尺寸大小均为M_d×N_d；

令Δu＝G(x_d,y_d)，令Δz_d表示I_d对应的清晰面移动距离，令Δz_d＝aΔu²+bΔu+c；然后将Δu＝G(x_d,y_d)代入Δz_d＝aΔu²+bΔu+c中，求得Δz_d的值；其中，G(x_d,y_d)表示I_d中坐标位置为(x_d,y_d)的像素点的灰度值，1≤x_d≤M_d，1≤y_d≤N_d；

将a_f＝k_f,a×b_f+c_f,a、d_f＝k_f,d×b_f+c_f,d、a_g＝k_g,a×b_g+c_g,a、d_g＝k_g,d×b_g+c_g,d代入中，得到然后令u＝x_d，并令v＝y_d，令Δz＝Δz_d；接着将u＝x_d、v＝y_d和Δz＝Δz_d代入中，得到b_f的值和b_g的值，对应记为b_f(x_d,y_d)和b_g(x_d,y_d)；

计算得到x的坐标值x(x_d,y_d)和y的坐标值y(x_d,y_d)；其中，M^-1为M的逆；

令x＝x(x_d,y_d)，并令y＝y(x_d,y_d)；然后将x＝x(x_d,y_d)和y＝y(x_d,y_d)代入z＝b₁+b₂x+b₃y中，得到z的中间值，记为z₀；接着计算z的坐标值，记为z(x_d,y_d)，z(x_d,y_d)＝z₀-Δz_d；

将(x(x_d,y_d),y(x_d,y_d),z(x_d,y_d))作为重建的一个空间点的三维坐标；

按照步骤的过程，利用I_d中的所有像素点重建所有空间点的三维坐标，从而得到待测物体的三维重建图。