[发明专利]一种可见光与红外热成像图像配准的方法及系统

权利要求书

1.一种可见光与红外热成像图像配准的方法，其特征在于，包括步骤：

S1、拟合仿射变换曲线：预先对图像采集设备做光学标定，在工作范围内的多个不同距离点采集标定板的可见光图像和红外热成像图像，计算可见光图像与红外热成像图像之间的图像像素几何变换关系，拟合出仿射变换曲线；

S2、采集目标对象的图像和距离信息：采集目标对象的可见光图像、红外热成像图像和目标距离信息；

S3、使用单阶段目标检测模型识别定位目标：可见光图像作为单阶段目标检测模型的输入源，识别定位出目标，输出目标像素区域；

S4、可见光图像与红外热成像图像初次配准：基于步骤S1的仿射变换曲线，输入步骤S2的目标距离信息，计算出相应的仿射变换矩阵；对步骤S3输出的目标像素区域使用本步骤计算出的仿射变换矩阵做仿射变换；

可见光图像的目标像素区域经过仿射变换后，作为待配准图像，初次配准后的红外热成像图像，作为参考图像；

S5、可见光图像与红外热成像精准配准：对待配准图像与参考图像进行特征点提取和特征点匹配，匹配得到特征点对；

S6、计算特征点对的置信度：对步骤S5得到的特征点对，计算特征点对的置信度，如果置信度大于预设置信度阈值，则判断可见光图像与红外热成像图像的配准精度满足要求。

2.根据权利要求1所述的一种可见光与红外热成像图像配准的方法，其特征在于，所述步骤S5中，对待配准图像与参考图像采用基于改进ORB算法，进行特征点提取和特征点匹配，包括步骤：

S5.1、利用FAST算法分别提取目标对象的待配准图像和参考图像中的关键点；

S5.2、计算关键点主方向；根据可见光与红外热成像目标轮廓相似的特点，选取关键点所在的边缘领域的切线方向作为该关键点的主方向；

S5.3、使用BRIEF二进制特征描述符对检测的关键点进行描述；

S5.4、使用汉明距离做特征点匹配；当可见光图像和红外热成像图像的描述子的相似度大于预设相似度阈值，则判定特征点是匹配的。

3.根据权利要求2所述的一种可见光与红外热成像图像配准的方法，其特征在于，所述FAST算法提取关键点的步骤包括：

步骤S5.1.1，在图像中，以像素点p为中心的预设半径长度的圆上，选择第一数量的像素点，计算第一数量的像素点与像素点p的灰度差，如果灰度差超过像素阈值的像素点超过第一预设值，则将像素点p作为候选关键点，进入下一步；否则，像素点p不作为关键点，重新选择作为中心的像素点；

步骤S5.1.2，如果p是候选关键点，则计算所述圆上的第二数量的像素点与中心p的灰度差，如果灰度差超过阈值t的像素点大于第二预设值，则中心点p是关键点，进入下一步；否则，中心点p不是关键点，返回步骤S5.1.1，重新选择作为中心的像素点；第二数量大于第一数量，第二预设值大于第一预设值；

步骤S5.1.3，对图像进行非极大值抑制：计算关键点p的得分值，得分值为所述圆上的第二预设数量的像素点与关键点p的灰度差值的绝对值总和；

以关键点p为中心的预设邻域内，如果有多个关键点，则判断每个关键点的得分值，如果关键点p的得分值是预设邻域所有关键点中最大的，则保留该关键点p；否则，抑制该关键点p；如果预设邻域内只有一个关键点，则保留该关键点p。

4.根据权利要求1所述的一种可见光与红外热成像图像配准的方法，其特征在于：

步骤S1中，标定板采用透明导热的光学玻璃，光学玻璃上面使用特征点清晰的规则图案，在预设区域涂隔热材料，其它区域未涂隔热材料，标定板在可见光波段和红外波段均能获得清晰度符合要求的轮廓图像；

标定板的红外热成像为参考图像、可见光图像为待配准图像，每对可见光图像和红外热成像图像选择稳定的三对角点为配准点，计算出对应的仿射变换矩阵，对多组不同距离点的仿射变换矩阵，使用最小二乘法多项式曲线拟合出仿射变换曲线。