[发明专利]一种笔式图像实时拼接方法及笔式图像扫描装置

说明书

本发明公开了一种笔式图像实时拼接方法及笔式图像扫描装置，具体高成功率、高稳定性、高鲁棒性等特点，该方法包括：采用摄像头扫描文件获取图像帧序列，从图像帧序列中提取相邻的第一帧图像和第二帧图像，计算第一帧图像和第二帧图像之间的单应性矩阵；基于单应性矩阵，计算出摄像头与观测平面之间的倾斜角；基于倾斜角，对第一帧图像和第二帧图像进行重投影处理，获得与第一帧图像对应的第三帧图像和与第二帧图像对应的第四帧图像，第三帧图像和第四帧图像存在刚性关系；基于第三帧图像、第四帧图像和单应性矩阵，计算获得第一刚性矩阵；基于第一刚性矩阵对第三帧图像和第四帧图像进行重投影拼接，获得第一拼接图像，输出第一拼接图像。

技术领域

本发明涉及图像处理技术领域，特别是涉及一种笔式图像实时拼接方法及笔式图像扫描装置。

背景技术

随着科学技术的发展，词典笔、扫描笔等笔式图像扫描装置可以广泛应用到人们的生活中，用于学习、工作、娱乐当中。

目前的笔式图像扫描装置的图像拼接的方式，基本是帧间采用特征点和特征描述子进行匹配，再计算出单应性矩阵后，对图像进行映射，并寻找拼接线后进行图像的拼接。或者是，根据得到的单应性矩阵，对所有拼接图像进行全局优化，通过寻找最佳相机内参来优化最后的拼接结果。

但是，上述两种拼接方式中，都要求必须根据特征点提取到合适准确的单应性矩阵。若图像的纹理较弱(如词典笔划在长破折号上)和图像交叉区域面积较少时(如词典笔丢帧、划词速度过快等)，能够匹配到的点对会非常少，容易出现无法寻找到有效的单应性矩阵，从而导致拼接错误的情况，影响用户使用。

发明内容

基于此，本发明的目的在于解决上述技术问题，提供一种具有拼接成功率高、鲁棒性高等特点的笔式图像实时拼接方法及笔式图像扫描装置。

第一方面，本发明实施例提供一种笔式图像实时拼接方法，包括：

采用摄像头扫描文件获取图像帧序列，从所述图像帧序列中提取相邻的第一帧图像和第二帧图像，计算所述第一帧图像和所述第二帧图像之间的单应性矩阵；

基于所述单应性矩阵，计算出所述摄像头与观测平面之间的倾斜角；

基于所述倾斜角，对所述第一帧图像和所述第二帧图像进行重投影处理，获得与所述第一帧图像对应的第三帧图像和与所述第二帧图像对应的第四帧图像，所述第三帧图像和所述第四帧图像存在刚性关系；

基于所述第三帧图像、所述第四帧图像和所述单应性矩阵，计算获得第一刚性矩阵；

基于所述第一刚性矩阵对所述第三帧图像和所述第四帧图像进行重投影拼接，获得第一拼接图像，输出所述第一拼接图像。

本发明实施例中，通过利用第一刚性矩阵进行图像的拼接，而非使用传统的单应性矩阵进行图像的拼图，且通过结合特征点匹配的稳定性，相较于现有技术的基于传统的特征点匹配而言，可以有效消除由于笔式图像扫描装置倾斜扫描而导致的图像拼接错位和长图像序列拼接导致的逐渐放大的问题，可以提高图像拼接的成功率和稳定性。

在一种可能的设计中，计算所述第一帧图像和第二帧图像之间的单应性矩阵，包括：

计算所述第一帧图像和所述第二帧图像各自的特征点和特征描述子；

基于所述第一帧图像和所述第二帧图像各自的特征点和特征描述子，采用暴力匹配算法和ransac算法，计算获得所述第一帧图像和所述第二帧图像各自的内点和所述单应性矩阵，所述内点表示为有效特征点。

在一种可能的设计中，基于所述单应性矩阵，计算出所述摄像头与观测平面之间的倾斜角，包括：

基于所述单应性矩阵，调整所述第一帧图像和/或所述第二帧图像的位移，使得所述第一帧图像和所述第二帧图像之间的图像错位满足预设要求；