[发明专利]可见光和热红外图像序列自动配准方法

摘要

本发明公开了一种可见光和热红外图像序列自动配准方法，用于解决现有的可见光-热红外图像序列配准方法配准精度差的技术问题。技术方案是采用图像像素的归一化光流时序特征和三层逐步精细化的相似性度量方法进行可见光和热红外同步图像序列间的候选同名点对选取，用图像像素的运动时序特征代替运动目标的整体特征。有效的克服了运动检测不精确带来的问题，提高了算法的鲁棒性，使其可用于具有频繁运动的拥挤监控环境情况下的图像序列配准，提高了图像序列配准的精度，其相对于基准数据的平均像素误差从现有技术的[2.03，6.9]像素降低到2个像素以内。

主权项

1.一种可见光和热红外图像序列自动配准方法，其特征在于包括以下步骤：步骤一、对输入的可见光和热红外同步图像序列，使用迭代Lucas-Kanade金字塔光流算法对可见光和热红外图像序列计算各帧图像的光流向量；在光流向量滤波、光流时间序列筛选的基础上，使用运动方向和运动模值两类信息，提取具有平移、旋转、尺度不变性的图像像素的归一化光流时序特征；分别对可见光图像序列和热红外图像序列中的图像像素使用迭代Lucas-Kanade金字塔光流法计算光流向量；设图像序列像素点(i，j)在第t帧图像的x和y方向的光流向量用d_x(i，j，t)和d_y(i，j，t)表示，通过公式(1)获得t时刻像素点(i，j)运动向量的模值，r(i,j,t)=(dx(i,j,t))2+(dy(i,j,t))2---(1)]]>通过公式(2)计算出t时刻像素点(i，j)运动向量的方向角，q(i,j,t)=arcsin(dy(i,j,t)r(i,j,t))---(2)]]>式中，arcsin为反正弦函数；为每个像素点(i，j)生成一个运动方向时间序列Seqq_L(i，j)，Seqq_L(i，j)＝[q_L(i，j，1)，K，q_L(i，j，t)，K，q_L(i，j，T)]      (3)并同时记录下其运动模值序列Seqr_L(i，j)，Seqr_L(i，j)＝[r_L(i，j，1)，K，r_L(i，j，t)，K，r_L(i，j，T)]      (4)式中，L为图像序列的标号，取值为IR表示红外序列，CCD表示可见光序列，且1#i N_L，1#j M_L，N_L和M_L为L图像序列的宽和高，T为图像序列的长度；采用滤波方法抑制错误的光流向量和运动序列，包括4个方面：(a)在计算光流前，采用3×3窗口，方差为0.5的高斯平滑滤波对图像进行降噪处理；(b)在光流计算时，仅考虑运动前景区域中的像素，运动前景区域由改进混合高斯背景差分算法提取，将其余像素运动模值置为零；在获得光流向量后，滤除运动模值小于0.1的光流向量，将其运动模值置为零；(c)在生成运动方向序列和运动模值序列时，不考虑图像序列以一个像素为宽度的所有图像的边界像素；(d)将输入图像J按照其光流矢量进行插值映射，生成与图像I对应的投影图像I′，通过差分图像I和I′，计算像素邻域的平均灰度误差；当误差大于阈值e_thd时，认为该光流矢量的计算发生了错误，将该运动模值置为零；其中，I和I′均为灰度归一化图像；使用运动累加次数初步筛选光流时间序列，即运动方向序列和运动模值序列，经过筛选的光流时间序列参与后续的运算；运动累加次数，即运动模值序列中非零元素的总个数，像素点(i，j)的运动累加次数用MtNum_L(i，j)表示，其具体计算如公式(5)所示，光流时间序列的筛选过程如公式(6)所示，式中，uMAX_L为序列L各像素中最大的运动累加次数，low_thd为低阈值，hgh_thd为高阈值，1表示经过筛选，0表示未经过筛选，不参与后续计算；对运动方向序列进行量化编码，用数字0到8来量化编码运动方向；当(i，j)的光流模值r(i，j，t)为0时，其运动方向q量化编码为0；当运动模值r(i，j，t)大于零时，将q量化为8个方向，量化编码过程用公式(7)计算；量化后的运动方向序列QSeqq(i，j)用公式(8)表示，QSeqq_L(i，j)＝[Q_L(i，j，1)，K，Q_L(i，j，t)，K，Q_L(i，j，T)]           (8)式中，Q(i，j，t)为像素(i，j)在t时刻运动方向的编码；对量化编码后的运动方向序列QSeqq_L(i，j)进行方向归一化；首先计算QSeqq_L(i，j)的1-8方向运动方向直方图HistSeqq(i，j)，如公式(9)所示；HistSeqq(i，j)＝[Histq(i，j，1)，Histq(i，j，2)，L，Histq(i，j，8)]   (9)然后以直方图中数值最大的方向MaxOrt为主方向，将所有运动方向按照顺时针方向进行旋转，直到主方向与1方向重叠时旋转停止，其计算过程用公式(10)来描述，式中，q为QSeqq(i，j)中某一运动的量化编码；这里0方向不参与该运算，仍继续保持0值，来表征未发生运动的状态；方向归一化后的运动方向序列NQSeqq_L(i，j)用公式(11)表示，NQSeqq_L(i，j)＝[NQ_L(i，j，1)，K，NQ_L(i，j，t)，K，NQ_L(i，j，T)]    (11)式中，NQ_L(i，j，t)为像素(i，j)在t时刻运动方向的归一化编码；对于运动模值序列进行归一化处理，使用各序列的模值之和作为归一化因子，如公式(12)所示；步骤二、采用三层逐步精细化的图像像素光流时序特征相似性度量方式，针对基准图像序列中的每个光流序列，从待配准图像序列中选择与其最相似的序列形成对应特征对，将对应特征对所在的两个像素点视为同名点对；第一层：运动频次滤波；设基准图像序列中某像素点(i，j)的总运动频次为MtNum，从待配准图像序列中选择运动累加次数在[0.5MtNum，1.5MtNum]区间的运动方向序列作为候选的相似运动序列，形成候选序列集1，用CandSeqs1表示，CandSeqs1继续参与后续的相似性度量；第二层：运动方向直方图匹配；针对方向归一化后的NQSeqq_L(i，j)，统计计算其运动方向直方图；采用Manhattan距离来度量两个运动方向直方图的相似性，计算候选集合CandSeqs1中各序列与基准运动方向序列的直方图距离，记其最短距离为MinHistDist，将直方图距离在区间[MinHistDist，maxHistValue]的CandSeqs1中的序列作为候选相似序列，形成候选集合CandSeqs2；其中maxHistValue首先取为2MinHistDist和0.5中较大的值，然后取maxHistValue和0.9中的较小的值；第三层：光流时序特征距离匹配；首先采用运动方向序列的最短距离选择候选序列，当存在多个候选序列时，再使用运动模值序列的最短距离进行进一步选择，并将对应特征所在两个像素点视为对应点对；在计算运动方向序列间的距离时，需要考虑运动方向编码间的距离，采用公式(13)所示的方式计算，式中，p和q为两个运动方向的编码，distOrtCod(p，q)为两运动编码间的距离；两运动方向序列间的距离为distOrtSeq，(鬃)，如公式(14)所示，NQSeqq_IR(i，j)和NQSeqq_CCD(m，n)分别为热红外图像中像素(i，j)的运动方向序列和可见光图像中像素(m，n)的运动方向序列；运动模值序列间的距离用函数distModSeq，(鬃)计算，如公式(15)所示，式中，NSeqr_IR(i，j)表示红外序列中像素(i，j)的归一化模值序列，NSeqr_CCD(m，n)表示可见光序列中像素(m，n)的模值序列；步骤三、使用级联RANSAC算法剔除外点，结合直接线性变换和Levenberg-Marquardt算法求解可见光和热红外两图像序列间的变换模型参数；