[发明专利]一种基于时空间统一的热红外和可见光图像同步配准方法

说明书

本发明公开一种基于时空间统一的热红外和可见光图像同步配准方法，包括，搭建棋盘标定板，采集包含有棋盘标定板的热红外图像和可见光图像，其中，热红外图像及可见光图像具有统一的基准时间，基于采集的图像及基准时间，获取若干组热红外和可见光图像对；通过亚像素边缘角点检测对热红外和可见光图像对进行处理，得到标定板角点的位置坐标；基于标定板角点的位置坐标求解最佳单应性变换矩阵，其中所述最佳单应性变换矩阵以实现热红外和可见光图像同步配准。本发明能够为热红外和可见光图像融合处理提供良好的先验工作，保证多模态数据的场景一致性。

技术领域

本发明涉及热红外与可见光图像处理技术领域，特别涉及一种基于时空间统一的热红外和可见光图像同步配准方法。

背景技术

图像分析处理包括图像分割、拼接、重构和检测等多种任务。目前通过比较或融合多个图像之间有效信息的方法正逐渐成为图像处理领域内的主流。而无论是单模态还是多模态的图像信息，都不可避免地存在观察区域或对象错位的现象。图像配准技术作为图像处理领域的重要环节，目的就是找到同一场景下两个或多个图像之间最佳的空间对齐，其配准结果的优劣将直接影响着后续工作的效果。

现有的图像配准算法主要分为基于灰度统计的方法和基于特征匹配的方法两大类。其中基于特征匹配的图像配准方法因其具有较高的运算速度和较好的鲁棒性，已经成为了当前应用领域最广、使用频率最高的方法。类似SIFT、SURF的算法在单模态图像中拥有很好的效果而得到了广泛地研究与应用。但是单模态的图像数据在实际应用过程中，特别是在传感器处于运动状态时，往往容易受到特殊环境的影响，导致信息内容不精确、不完备的问题。一方面，当照明条件不够良好时，可见光图像体现的特征信息将大幅减少，而热红外图像则具有抗光照干扰的优势；另一方面，现有热红外图像一般都是较低的分辨率且探测对象的边缘信息模糊，而可见光具有高分辨率，包含丰富的特征信息。由此可见，利用可见光与热红外传感各自的成像特性，形成多模态数据的统一表征，对于后续图像分析处理任务有很大的推动作用。然而，针对热红外和可见光图像的多模态数据，依靠目前较先进的算法仍难以主动找出能够正确匹配的特征关系。而且因为传感器之间成像分辨率和焦距等差异，也不能简单地使用刚体或仿射变换来充当变换模型，无法实现两类图像的高精度配准。

同时，广义的图像配准还应包括对时间的统一。由于不同的传感器有着各自不同的信号采样频率和数据储存时间，会使得同一时刻采集到的数据并非源自真实的相同场景。这将导致多模态数据融合的内容不匹配，产生相比于单模态数据更多的噪声和无关项，不利于凸显各模态实例的优势。

发明内容

为解决上述现有技术中所存在的上述技术问题，本发明提供了一种基于时空间统一的热红外和可见光图像同步配准方法，本发明能够为给热红外和可见光图像融合处理提供良好的先验工作，保证多模态数据的场景一致性。

为了实现上述技术目的，本发明提供了如下技术方案：

一种基于时空间统一的热红外和可见光图像同步配准方法，包括：

搭建棋盘标定板，采集包含有棋盘标定板的热红外图像和可见光图像，其中，热红外图像及可见光图像具有统一的基准时间，基于采集的图像及基准时间，获取若干组热红外和可见光图像对；

通过亚像素边缘角点检测对热红外和可见光图像对进行处理，得到标定板角点的位置坐标；

基于标定板角点的位置坐标求解最佳单应性变换矩阵，其中所述最佳单应性变换矩阵以实现热红外和可见光图像同步配准。

可选的，所述棋盘标定板包括白格背景及黑格，其中所述白格背景使用铝板，所述黑格使用黑色橡胶布。

可选的，采集热红外图像和可见光图像时，通过多线程交叉处理方法统一热红外图像及可见光图像的基准时间。

可选的，通过多线程交叉处理方法统一基准时间的过程包括：

通过红外热力仪及可见光摄像机分别采集数据流；