[发明专利]基于模板的泊松融合图像拼接方法、系统、设备及介质

说明书

本申请公开了基于模板的泊松融合图像拼接方法、系统、设备及介质，包括：获取两幅待拼接的图像，对每一幅待拼接的图像进行特征点提取；利用粒子群算法将一幅待拼接图像与另外一幅待拼接图像进行特征点匹配；为一幅待拼接图像与另外一幅待拼接图像，找到重叠区域；基于灰度值和图割算法，在每个重叠区域内找到最佳缝合线；基于最佳缝合线，创建模板；基于模板和泊松融合算法，对待拼接图像进行拼接，得到全景图像。本公开所提出的方法能更好的实现多图像的拼接，有效地解决了拼接结果中重影和缝隙的问题。

技术领域

本公开涉及图像处理和计算机视觉技术领域，特别是涉及基于模板的泊松融合图像拼接方法、系统、设备及介质。

背景技术

本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。

在实现本公开的过程中，发明人发现现有技术中存在以下技术问题：

图像拼接技术是计算机视觉的一个重要研究方向，由于大多数相机和监控设备的视角相对比较窄，因此全景图像非常重要的，可以显示大范围的环境视图。拼接技术的出现和发展为获取更广视角、更高分辨率以及全景图像提供了有效的解决方案，已经广泛应用于虚拟现实、医学影像、智能监控、军事导航等领域。

图像检测匹配的关键步骤通常包含：特征点检测、特征描述、匹配。目前图像检测匹配技术的算法很多，各自采用的检测方法、描述方法、匹配方式都各有不同之处，所以各种算法在运行速度，检测点数目，匹配正确率等性能上都表现出各自的优缺点。

基于像素的匹配和基于特征的匹配是两类主要的配准方法，前者直接计算不同图像的像素之间的差异来配准图像，而后者利用图像特征确定匹配区域，根据特征点变换图像进行配准。由于不依赖于图像尺度和方向的特征描述子，以及高效可靠的特征检测和匹配方法相继出现，因此基于特征的图像配准具有稳定、准确性好等优点，成为目前图像拼接方面的主流配准方法。

Chris提出了Harris兴趣点检测算法，该方法实现了提取出的特征点具有平移和旋转不变性，对参数变化、噪声、图像变化和光照变换等有较好的鲁棒性，但不足之处是对图像的尺度变化不具有特征不变性。SIFT(Scale Invariant Feature Transform)算法对图像平移、旋转、收缩，扩放等均保持不变性，但SIFT算法提取出的特征点数量过多，导致计算量大，速度慢，效率低。Bay等人在SIFT算法基础之上提出了加速稳健特征(speeded uprobust features，SURF)算法，SURF算法在尺度和仿射变换下都保持了不变性，运算速度比SIFT的运算速度提高了3～5倍，准确度并未降低。

近年来，围绕着彩色的图像检测匹配，研究人员研究并提出不同的解决方案，例如提出Harris特征点用同心圆与SIFT算法的结合；提出SIFT算法和ORB算法的结合；SIFT与粒子群优化的图像匹配；BRISK算法采用多尺度角点检测算法等。

目前较为常用的图像融合算法是线性加权融合算法，如直接平均法。但重叠区域的像素值不是简单的叠加而是先进行加权后再进行叠加和平均。通过选取合适的权值，能够将重叠区域在处理时过渡平滑，有效避免拼接重影。因此该方法实现简单快速，但易被过渡带宽干扰，使得拼接图像出现不平滑与重影的问题，导致算法的稳定性差。有研究人员提出的多频带融合算法的思路是在不同频率内对图像进行分解，利用取不同的过渡带宽度分别进行加权插值处理后再进行融合处理，虽然拼接融合后的图像质量不错。但该算法在实现时工作量较大，计算时间长。

直接拼接法、渐入渐出加权平均法和多分辨率融合法是常用的三种图像融合方法。直接拼接融合法是融合方法中最简单的一种，但基本没有在实践中得到应用。直接拼接融合方法拼接后的图像是由三部分组成：除去重叠区域的左图像、右图像重叠区域的像素值和右图像除去重叠区域。渐入渐出加权平均融合法是对两幅图像的权系数的分别计算是重叠区域边界与重叠区域像素当前位置相对距离进行计算的。多分辨率融合方法是对图像进行解释使用图像金字塔的结构。图像金字塔是经过有约束条件的连续下采样获得的一种排列成金字塔形状的分辨率递减的原始图像。