[发明专利]一种PTZ摄像机现场标定及定焦方法

摘要

本发明公开了一种PTZ摄像机现场标定及定焦方法，属于计算机视觉与摄像机标定技术领域。所述方法包括步骤一：标定视场基准点选取与测量；步骤二：焦距固定下摄像机标定；步骤三：关键焦距的选取；步骤四：非标定视场基准点自动获取；步骤五：PTZ摄像机在线标定。本发明针对非严格轴对称镜头，设计了能够有效实现对非严格轴对称镜头的畸变校正的方法，由于得到覆盖整个摄像机视场的基准点，因此不仅减少标定工作量，还可以描述镜头不同区域的畸变情况，实现对所有焦距下畸变的有效估计，利用视场中基准点在相机视场中夹角不变性，通过最小二乘法快速确定焦距，并通过插值获得每个点的畸变校正数据。

主权项

1.一种PTZ摄像机现场标定及定焦方法，包括以下步骤：步骤一：标定视场基准点选取与测量；1.1：基准点的选取：在PTZ摄像机最小焦距f1下，拍摄标定视场得到图像I0，提取图像I0的特征点，在这些特征点中挑选出m个特征点作为基准点pi，i＝1,…,m；1.2：保存基准点的特征描述符descriptorsi，i＝1,…,m，当基准点出现在任意一张包含基准点的新的图像中时，提取新的图像中的特征点，将新的图像中的特征点描述符与基准点的特征描述符进行匹配，确定基准点在新的图像中的坐标；1.3：基准点世界坐标测量：测得m个基准点在世界坐标系下的坐标Pi，i＝1,…,m；步骤二：焦距固定下摄像机标定；步骤2.1：图像采集：在固定焦距f下，转动PTZ摄像机，使图像I0中的基准点遍历PTZ摄像机图像平面，并采集J张图像Ij，j＝1,2,…,J；步骤2.2：内参矩阵K自动获取；步骤2.2.1：确定参考图像Ire：从采集到的J张图像中挑出一张作为参考图像Ire；步骤2.2.2：计算参考图像I_re的参考投影矩阵M_re：将在参考图像I_re提取到的参考特征点描述符与基准点的特征描述符descriptors_i进行匹配，得到参考图像I_re中参考基准点p_i的图像坐标所述图像坐标即为基准点在参考图像中的实际值，并已知对应的世界坐标P_i；从参考图像I_re中选出离参考图像I_re中心点最近的非共面参考基准点，利用直接线性变换求出参考投影矩阵M_re；步骤2.2.3：计算内参矩阵K：分解参考投影矩阵Mre，得到内参矩阵K；步骤2.3：确定固定焦距下任意图像中心区域；步骤2.3.1：利用参考投影矩阵M_re，计算在参考图像I_re内参考基准点p_i的理论值理论值与实际值的差值作为基准点p_i所在像素点的畸变量；步骤2.3.2：设定第一阈值εd，形成如下所示集合：其中，集合no‑distortion表示畸变量忽略不计的基准点所在像素点的集合；集合distortion表示畸变量不忽略不计的基准点所在像素点的集合；步骤2.3.3：确定固定焦距下任意图像中心区域；步骤2.4：描述摄像机镜头畸变；图像平面的大小为A*B，建立一个A行B列即A*B的畸变矩阵D，A行B列的图像平面中的每一个元素即为像素，畸变矩阵D中的每个元素存储对应基准点所在像素点的畸变量(Δu,Δv)，如下式所示：其中，图像中心区域内的畸变量设置为(0,0)；步骤2.5：优化单应性矩阵；利用特征匹配计算每一张图像Ij与参考图像Ire之间的单应性矩阵Hj，使得xj＝Hj*xre，其中xj表示图像Ij中基准点的齐次坐标，xre表示参考图像Ire中对应基准点的齐次坐标；步骤2.5.1：将在图像I_j提取到的图像特征点描述符与基准点特征描述符descriptors_i进行匹配，得到图像I_j中图像基准点的图像坐标即为基准点实际值步骤2.5.2：在Hj的邻域内搜索出符合判断条件的最优单应性矩阵，优化过程如下：将Hj作为优化的初值，并分解Hj求出旋转矩阵Rj，继而分解Rj求出初始旋转角度，分别为初始偏航角α0，初始俯仰角β0，初始横滚角γ0，如下式所示：Rj＝K‑1*Hj*K将可变偏航角α，可变俯仰角β，可变横滚角γ定义为变量，3个变量的取值范围分别定义为：α∈[α0‑ξ,α0+ξ]β∈[β0‑ξ,β0+ξ]γ∈[γ0‑ξ,γ0+ξ]其中，ξ表示领域半径，对3个变量的取值范围进行等间隔采样，间隔为Δ，分别得到采样后的采样偏航角αg1，采样俯仰角βg1，采样横滚角γg1：αg1＝α0±gΔβg1＝β0±gΔγg1＝γ0±gΔ其中，[]表示取整；对3个旋转角度变量的不同取值依次进行组合，计算出对应的单应性矩阵H，由求出基准点在图像I_j内的基准点理论值与在图像I_j中的齐次坐标分别为其中，分别表示在以像素为单位的图像坐标系中u轴与v轴方向的坐标值，分别表示在以像素为单位的图像坐标系中u轴与v轴方向的坐标值，对于每一个基准点理论值和实际值如果满足判断条件：则计算差值平方和：根据以上判断条件在所述邻域内找到所有差值平方和中的最小值，此时的基准点理论值对应的单应性矩阵即为穷举法搜索出的最优单应性矩阵步骤2.6：估计畸变矩阵D；步骤2.6.1：若图像I_j的图像中心区域内至少存在6个非共面基准点：由图像中心区域内的基准点，估计出图像投影矩阵M_j；由计算出基准点在图像I_j内的基准点理论值基准点理论值与基准点实际值的差值作为基准点p_i所在像素点的畸变量，并存入畸变矩阵D；步骤2.6.2：若图像I_j的图像中心区域内不存在至少6个非共面图像基准点，基准点理论值的计算如下所示：由求出基准点在图像I_j内的基准点理论值并将基准点理论值与基准点实际值的差值存入畸变矩阵D；步骤2.7：畸变矩阵插值，得到非轴对称相机的畸变描述优化矩阵；步骤2.7.1：(u,v)为待估计畸变量的像素点坐标，以(u,v)为圆心，以r1为半径的邻域E内存在若干个已知畸变量的像素点(u's,v's)，利用这些像素点(u's,v's)的畸变量(Δu's,Δv's)拟合出畸变模型，求出畸变模型参数k1，k2，如下式所示：rs2＝(u's‑u0)2+(v's‑v0)2其中，(u0,v0)表示图像主点，rs表示(u's,v's)距图像主点的径向距离；步骤2.7.2：用计算出的畸变模型估计(u,v)的畸变量(Δu,Δv)，并存入畸变矩阵D中的对应位置，如下式所示，同时记插值后的畸变矩阵为非轴对称相机的畸变描述优化矩阵D*：r2＝(u‑u0)2+(v‑v0)2其中，r表示像素点(u，v)距图像主点(u0,v0)的径向距离；步骤三：关键焦距的选取；将PTZ摄像机镜头焦距的变焦范围划分为若干等分，得到划分后的n个焦距值f1,f2,…,fn，其中f1表示镜头最小焦距，fn表示最大焦距；关键焦距的选取具体为：3.1：焦距值f1,f2,…,fn确定出区间[f1,fn]，同时将f1,fn选为关键焦距，并确定该区间的中点，即从n个焦距值f1，f2,…,fn中找出中间焦距值fc；3.2：判断f₁,f_n对应的畸变描述优化矩阵之间是否进行畸变描述优化矩阵的线性插值；利用焦距值f₁,f_c,f_n下采集到的图像，分别得到f₁,f_c,f_n对应的畸变描述优化矩阵利用插值确定出f_c对应畸变描述优化矩阵的估计值插值公式如下所示：计算与之间的差值矩阵如下式所示：将差值矩阵划分区域，求出每个区域内的算术平均值M_k，同时为每个区域设立一个第三阈值ε_k，判别如下所示：a.若每个区域都满足|Mk|≤εk，则认为fc不为关键焦距；b.若至少有一个区域满足|Mk|＞εk，则fc选为关键焦距；3.3：对相邻关键焦距组成的区间，确定出中间焦距，并通过上述判定过程决定该中间焦距是否为关键焦距，不断重复此过程选出所有的关键焦距；步骤四：非标定视场基准点自动获取；4.1：在任意焦距fany下，转动PTZ摄像机，拍摄N张图像；4.2：利用畸变描述优化矩阵对所有图像进行畸变校正，得到校正后的图像I_a，a＝1,…,N，并从中挑出一张图像作为参考图像I_ref，将对应于参考图像I_ref的摄像机坐标系定义为参考坐标系；4.3：通过特征匹配确定N幅图像Ia相对于参考图像Iref的单应性矩阵Ha，使其满足下式：xref＝Haxa其中，xa表示图像Ia中图像特征点的齐次坐标，xref表示参考图像Iref中对应特征点的齐次坐标；4.4：对于每幅图像Ia，提取出若干个在图像Ia中均匀分布的SIFT特征点，由下式计算出这些SIFT特征点在参考坐标系下的方向矢量direction：其中，(u，v)表示待估计畸变量的像素点坐标；(X,Y)表示图像Ia中SIFT特征点在以毫米为单位的图像坐标系中的坐标；将已知方向矢量的SIFT特征点作为新的基准点，得到覆盖整个摄像机视场的基准点；步骤五：PTZ摄像机在线标定；具体为：步骤5.1：特征匹配；对待标定图像I'进行SIFT特征提取，并与基准点的特征描述符进行特征匹配，确定图像I'中基准点的图像坐标；步骤5.2：摄像机焦距自动识别；选择最接近图像中心的两个基准点，通过下式求出此时摄像机的焦距f'：其中，(ub,vb)表示两个基准点的图像坐标；(Xb,Yb)表示两个基准点在以毫米为单位的图像坐标系中的坐标，b＝1,2；direction1,direction2表示两个基准点的方向矢量；夹角θ表示两个基准点与摄像机光心连线的夹角；dx,dy分别表示每一个像素沿图像在u轴与v轴方向的物理尺寸；(u0,v0)表示图像主点；步骤5.3：插值得到图像I'的内参矩阵与畸变描述优化矩阵；得到焦距f'后，假设f'处在关键焦距f_p,f_q之间，p＜q，通过下式求得图像I'的内参矩阵K_I'与畸变描述优化矩阵其中，K_p,K_q分别表示f_p,f_q对应的内参矩阵；分别表示f_p,f_q对应的畸变描述优化矩阵。