[发明专利]一种基于透视成像模型标定的C型臂图像校正方法

摘要

一种基于透视成像模型标定的C型臂图像校正方法，它有四大步骤；步骤一：设计C型臂系统标定的标定模板；步骤二：获取标记点的失真坐标，在失真图像上通过图像处理获得；步骤三：C型臂系统标定；包括标定模板上标记点的三维空间坐标、透视成像模型标定、畸变模型和失真坐标通过系统标定获得透视成像参数；步骤四：图像校正；由标定的透视成像模型，对失真图像进行校正。本发明在线将C型臂系统标定和C型臂X射线投影失真图像校正作为一个整体，基于摄像机透视成像模型对C型臂系统进行标定和对C型臂X射线投影失真图像进行校正，改变了在传统方法中先离线进行图像校正然后进行线性标定，使系统步骤变得简洁方便，容易在线使用。

主权项

1、一种基于透视成像模型标定的C型臂图像校正方法，它是在以下硬件载体上实现的：PC机、双目摄像机、支架、C型臂系统、标记板、标定模板以及固定卡爪；双目摄像机固定在支架上，支架放置在病床的一侧，标记板粘贴于标定模板的一侧，标定模板通过固定卡爪固定在C型臂系统影像增强器的外壳上，且有标记板的一侧面向双目摄像机，C型臂系统采集的X射线投影图像和以双目摄像机坐标系为基准的模板上标记点的三维坐标输送到另一个隔离间的PC机进行处理；其特征在于：该方法具体步骤如下：步骤一：设计C型臂系统标定的标定模板具体为：测量C型臂影像增强器外壳直径大小，以C型臂影像增强器外壳直径451mm为直径制作一个C型臂罩；C型臂罩上安装有两层校准靶，其间距为100mm；下层校准靶直径为380mm，且在直径为350mm的圆形区域内，有以间距20mm均匀规则分布的225个圆形小孔；其中圆心和两个相互垂直的直径上有四个小孔的直径为6mm，其余直径为2mm；上层校准靶直径为380mm，且在直径为350mm的圆形区域内分布有9个直径为2mm的圆形小孔，其中圆心小孔垂直对应上层校准靶圆心孔，其余8个小孔分成两组，每组相距圆心距离分别是和步骤二：获取标记点的失真坐标在失真图像上通过图像处理获得，具体为：①「.对标定模板X射线投影图像使用中值滤波去噪平滑处理；②.使用形态学中的开运算提取标定模板背景图像；③.提取标定模板X射线投影图像中的标记点；用标定模板X射线投影图像减去标定模板背景图像得到只含圆形标记点的图像，随后经过二值化，开运算和闭运算去除噪声得到只含圆形标记点的二值图像；④.计算出这些圆形标记点的质心作为标记模板上标记点在X射线投影图像中的图像坐标；步骤三：C型臂系统标定包括标定模板上标记点的三维空间坐标、透视成像模型、畸变模型和失真坐标通过系统标定获得透视成像参数，具体为：i)标定模板上标记点的三维空间坐标；此步骤由双目摄像机定位标记板和不同坐标系之间的平移完成，具体为：①「双目摄像机固定在支架上，支架放置在病床的一侧，标记板粘贴于标定模板的一侧，标定模板通过固定卡爪安装在C型臂影像增强器的外壳上，且有标记板的一侧面向双目摄像机；②标记板的X轴垂直上层校准靶的圆形平面，Z轴指向上层校准靶的圆心，Y轴与上层校准靶的圆边相切，标记板的原点O₁为X轴，Y轴和Z轴的交点；设定新坐标系原点在标记板原点与Y方向单元小格的中间，且以这点为原点O建立坐标系，X轴垂直上层校准靶的圆形平面，方向与标记板X轴单位矢量平行，Z轴指向上层校准靶的圆心，Y轴方向与标记板Y轴单位矢量平行，原点O₁在摄像机的坐标系中为(X，Y，Z)，Y方向中离原点一个单元格的坐标在摄像机的坐标系中为(X₂，Y₂，Z₂)，X方向中离原点一个单元格的坐标在摄像机的坐标系中为(X₁，Y₁，Z₁)，新坐标系原点O在摄像机的坐标系中为((X₂-X)/2，(Y₂-Y)/2，(Z₂-Z)/2)；把新坐标系移到上层校准靶的圆心，且以这个坐标系为参考，逐步确定上层校准靶中小孔的圆心在摄像机坐标系下的三维空间坐标，然后再把新坐标系移到下层校准靶的圆心，且以这个坐标系为参考，逐步确定下层校准靶中小孔的圆心在摄像机坐标系下的三维空间坐标；关系式如下：(X₀₁，Y₀₁，Z₀₁)＝(X_标，原+X_摄，Y_标，原+Y_摄，Z_标，原+Z_摄)    (式8)其中：(X₀₁，Y₀₁，Z₀₁)是标定板原点在摄像机坐标系下的坐标；(X_摄，Y_摄，Z_摄)是标定板原点在摄像机坐标系下的偏移量；假设的原点O：(X₀，Y₀，Z₀)＝(X₀₁+X₂，Y₀₁+Y₂，Z₀₁+Z₂)/2    (式9)X，Y方向的单位矢量：x→=(X1-X01,Y1-Y01,Z1-Z01)(X1-X01)2+(Y1-Y01)2+(Z1-Z01)2]]>(式10)y→=(X2-X01,Y2-Y01,Z2-Z01)(X2-X01)2+(Y2-Y01)2+(Z2-Z01)2]]>(式11)坐标系平移到标定模板上层平面的圆心：z→=y→×x→]]>(式12)(X0′,Y0′,Z0′)=(X0,Y0,Z0)-z→×225]]>(式13)其中：(X₀′，Y₀′，Z₀′)是坐标系在标定模板上层平面圆心处的原点(X0′′,Y0′′,Z0′′)=(X0′,Y0′,Z0′)-x→×112]]>(式14)其中：(X₀″，Y₀″，Z₀″)是坐标系在标定模板下层平面圆心处的原点ii)透视成像模型标定，畸变模型和失真坐标通过系统标定获得透视成像参数，具体步骤为：①.提取C型臂标定模板X射线投影图像在图像中心区域的标记点，并用Tsai两步法进行标定；该方法有两步：第一步利用最小二乘法求解超定线性方程，给出外部参数；第二步使用优化搜索求解内部参数；摄像机坐标系与世界坐标系关系式表示矢量形式：[x_wY_d y_wY_d z_wY_d Y_d -x_wX_d -y_wX_d -z_wX_d]·[r₁/T_y r₂/T_y r₃/T_y T_x/T_y r₄/T_y r₅/T_y r₆/T_y]′＝X_d其中：x_w，y_w，z_w世界坐标；x_d，y_d，z_d摄像机坐标‘r_i(i＝1，2，3，4，5，6)旋转矩阵分量；T_y为Y方向的平移分量；(式1)实际图像坐标到摄像机坐标的变换：u_d＝s_xd_x′^-1X_d+u₀，v_d＝d_y^-1Y_d+v₀    (式2)其中：d_x为摄像机在X方向的像素间距；d_y为摄像机在Y方向的像素间距；s_x为图像尺度因子；(u₀，v₀)为光学中心；图像成像的理想位置与图像成像失真偏移的实际位置关系：x′＝x+δ_x，y′＝y+δ_y，δ_x(x，y)＝k₁x(x²+y²)，δ_y(x，y)＝k₂y(x²+y²)    (式3)其中：(x，y)为图像成像的理想位置；(x′，y′)为图像成像失真偏移的实际位置；δ_x，δ_y为非线性畸变值；k₁，k₂为径向失真畸变参数；②.在整个图像中使用Levenberg-Marquadt迭代优化算法，精确求解C型臂系统的内外参数R，T和k₁，k₂，p₁，p₂，s₁，s₂；这里迭代的初始值设置为Tsai法得到的外参数值R，T和k₁，k₂，p₁＝0，p₂＝0，s₁＝0，s₂＝0，标记点是从图像中提取的所有的标记点；图像成像失真的偏移量：δ_x(x，y)＝k₁x(x²+y²)+(p₁(3x²+y²)+2p₂xy)+s₁(x²+y²)，δ_y(x，y)＝k₂y(x²+y²)+(p₂(3y²+x²)+2p₁xy)+s₂(x²+y²)其中：p₁，p₂为切向失真畸变参数；s₁，s₂为薄透镜失真畸变参数；    (式4)实际真实坐标(x′，y′)和理想真实坐标(x，y)的关系改成向量相乘的形式：AP＝X′-X    (式5)其中：A=x(x2+y2)03x2+y22xyx2+y200y(x2+y2)2xyx2+3y20x2+y2]]>P＝[k₁ k₂ p₁ p₂ s₁ s₂]′，X′＝[x′y′]′，X＝[x  y]′用Levenberg-Marquadt算法优化精确求解，就是求目标函数：min||Σi=1n(mi-m(H,P,R,T,Mi))||2]]>(式6)假设模板图像上有n个标记点，其中m_i是第i个像素点图像坐标，M_i是第i个像素点对应的三维空间坐标，H内部参数矩阵；③再次在整个图像中使用Levenberg-Marquadt迭代优化算法，精确求解C型臂系统的内参数f，u₀，v₀；迭代的初始值设置为Tsai法得到的内参数值f，u₀，v₀；④循环迭代这个步骤直至迭代次数完成或达到误差限而终止程序运行且输出结果；步骤四：图像校正由标定的透视成像模型，对失真图像进行校正；具体步骤是用从透视成像模型标定C型臂系统中获得的失真参数对失真图像进行图像校正，也就是根据图像成像的理想位置与图像成像失真偏移的实际位置关系，把标定获得的失真畸变参数代入其中，获得校正图像的理想位置，最后进行灰度映射得到校正图像；如果所得到的校正图像的理想位置不是整数，那需要采用插值算法对图像进行灰度赋值；这里采用的是最近邻插值算法，关系如下：f(x)＝f(x_k)，如果1/2(x_k-1+x_k)＜x＜1/2(x_k+x_k+1)    (式7)。