[发明专利]一种显微图像的快速全景拼接方法及系统

说明书

本发明公开一种显微图像的快速全景拼接方法，利用端到端的网络可实现由粗到细的光流估计，计算速度快，光流估计精准，完全能达到边图像采集边计算的要求；结合空间变换网络，该空间变换网络可直接从光流特征图中预测变换矩阵，并根据该变换矩阵对局部显微图像进行空间变换，使相邻局部显微图像的重叠区域精准对齐；然后采用渐入渐出的线性融合方式对对齐显微图像的重叠区域进行线性融合，可以有效的消除融合后图像的缝隙和重影，实现无缝拼接；最后利用双边滤波对全景融合显微图像进行全景渲染，以消除拼接后的融合缝隙生成无缝拼接图像。与现有技术相比，本发明提供的全景拼接方法拼接速度快、精度高，可满足实际应用的需求。

技术领域

本发明涉及显微图像处理技术领域，尤其是一种显微图像的快速全景拼接方法及系统。

背景技术

传统显微镜在疾病诊断和病理研究中，存在着操作步骤多、工作量大、资源共享难、不能长期保存等诸多问题，针对于上述问题，病理切片的数字化技术应运而生。病理切片扫描仪将玻片内的细胞或组织切片进行扫描、拍照获得显微图像，通过后续的软件拼接成全景图像并进行自动识别，进而实现细胞或组织图像的分析诊断。

现有的病理切片扫描仪中，视野范围和分辨率在光学领域是成反比例的关系，获得一幅视野大并且分辨率高的图像对于显微镜的光学系统的要求是十分严格的，解决该类问题最常用的技术是图像拼接技术。该技术通过对切片的不同区域采集高分辨率的图像并最终融合成为一幅全景图像而构建出一幅完整的大尺度高分辨率的显微图像。但是在采集过程中，往往会出现由于相邻两幅图像的位移过大而导致的图像匹配上的特征点过少，从而导致拼接失败。

发明内容

本发明提供一种显微图像的快速全景拼接方法及系统，用于克服现有技术中由于特征点过少而拼接失败等缺陷。

为实现上述目的，本发明提出一种显微图像的快速全景拼接方法，包括：

控制显微镜物镜按预先规划的采集路径采集病理切片的局部显微图像；

利用预先训练好的端到端的网络对当前位置采集的局部显微图像和上一位置采集的局部显微图像进行光流估计，获得光流特征图；

利用预先训练好的空间变换网络对所述光流特征图进行转换，获得初始矩阵，将所述初始矩阵与上一位置获得的变换矩阵进行矩阵乘法运算，获得当前位置的变换矩阵，并根据所述当前位置的变换矩阵进行两张局部显微图像的对齐，获得第一对齐显微图像；

采用渐入渐出的线性融合方式对所述第一对齐显微图像的重叠区域进行线性融合，获得第一融合显微图像；

按预先规划的采集路径控制显微镜物镜或显微镜载物台移动到下一个位置并采集一张局部显微图像，然后对当前位置采集的局部显微图像和上一位置采集的局部显微图像进行所述光流估计、所述对齐，获得第二对齐显微图像，将所述第二对齐显微图像与所述第一融合显微图像进行所述线性融合，获得第二融合显微图像；

循环所述光流估计、所述对齐和所述线性融合的过程，直至将所有的局部显微图像进行融合，获得全景融合显微图像；

利用双边滤波对所述全景融合显微图像进行全景渲染，获得全景拼接显微图像。

为实现上述目的，本发明还提出一种显微图像的快速全景拼接系统，包括：

图像获取模块，用于控制显微镜物镜按预先规划的采集路径采集病理切片的局部显微图像；

光流估计模块，用于利用预先训练好的端到端的网络对当前位置采集的局部显微图像和上一位置采集的局部显微图像进行光流估计，获得光流特征图；

图像对齐模块，利用预先训练好的空间变换网络对所述光流特征图进行转换，获得初始矩阵，将所述初始矩阵与上一位置获得的变换矩阵进行矩阵乘法运算，获得当前位置的变换矩阵，并根据所述当前位置的变换矩阵进行两张局部显微图像的对齐，获得第一对齐显微图像；