[发明专利]基于HE染色图像与MBT染色图像的配准导航系统

说明书

本发明公开了基于HE染色图像与MBT染色图像的配准导航系统，基于HE染色图像与MBT染色图像的配准导航系统，包括以下步骤：硬件部分和软件部分，所述软件部分包括特征点提取、转换矩阵和对比特征点，所述硬件部分包括调整摄像头和调整位移平台。该基于HE染色图像与MBT染色图像的配准导航系统，针对IHC、IF、测序技术以及Masson等特殊染色对HE染色图像的配准问题，结合软件以及硬件，创造出智能配准导航系统，用来在IHC图像的生成阶段完成对HE图像的粗配准问题，依赖软件以及硬件的相互组合，软件负责识别两次扫描图像的低分辨率特征点，也就是人为设置的标记，然后进行匹配得到变换参数，硬件系统依靠这些变换参数，重新调整摄像头角度或者位移平台的位置。

技术领域

本发明涉及配准导航系统技术领域，具体为基于HE染色图像与MBT染色图像的配准导航系统。

背景技术

病理切片HE染色可以观察细胞和组织形态，是组织学、胚胎学、病理学中最基本、使用最广泛的技术方法；而IHC(免疫组化)、IF(免疫荧光)、测序技术以及Masson等特殊染色则可以标记出特定的细胞或细胞中特定的成分以及蛋白表达或基因突变产物。病理切片全玻片扫描数字化技术的应用，让一张病理切片可以通过多次扫描，产生出多张数字化图像。通过对已染色切片进行脱色后再进行其他类型染色或者技术处理，借助病理切片全玻片扫描数字化技术可以产生同一张病理石蜡切片两种甚至两种以上染色的数字化图像。通过AI提取其中一种染色图像上的特征，可以将该染色的特征在呈现在HE染色切片上，进一步为机器学习提供数据。但是我们在实验过程中发现，一个细胞的大小只有10μm左右，在切片扫描阶段中想让两次扫描范围在细胞水平实现完全重叠，目前技术是不可能的，在软硬件上还有许多待解决的问题。如要实现细胞层面的100％重叠，需要对两次扫描的图像进行配准，所谓的图像配准，就是将不同时间、不同条件下生成的两幅图像进行匹配叠加的过程。

此外，由于病理切片扫描图像拥有大的空间分辨率，因此在目前的配准技术下完成一次配准需要耗费大量的时间，尤其当存在大量的扫描图像配准的情形下，所耗费的时间更是成倍增长。基于这种情形，结合软件以及硬件，开发出一套智能配准导航系统，从图像的源头出发，在第二次扫描图像的数据生成之前，完成两次扫描粗配准过程，针对上述情况，在现有的基于HE染色图像与MBT染色图像的配准导航系统基础上进行技术创新。

发明内容

本发明的目的在于提供基于HE染色图像与MBT染色图像的配准导航系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：基于HE染色图像与MBT染色图像的配准导航系统，包括以下步骤：硬件部分和软件部分，所述软件部分包括特征点提取、转换矩阵和对比特征点，所述硬件部分包括调整摄像头和调整位移平台。

可选的，所述特征点提取，识别低分辨率下人为标记的特征点特征，并完成对HE染色图像的数据扫描；对HE染色切片进行脱色后再进行IHC染色，识别低分辨率下人为标记的特征点特征。

可选的，所述转换矩阵，基于特征点提取识别的特征点，进行匹配，得到相应的转换矩阵。

可选的，所述调整摄像头，基于转换矩阵步骤中得到的转换矩阵，利用硬件调整摄像头和位移平台的角度。

可选的，所述对比特征点，比较HE染色图像以及IHC染色图像低分辨率下人为标记的特征点位置是否重合，设置阈值，当两者特征点的位置小于一定的阈值时，结束粗配准，此时开始扫面IHC染色图像，反之，则返回。

可选的，所述特征点提取使用ORB特征提取算子、Harris等特征提取算子；在关于特征点的匹配上，由于特征点较少，所以使用常用的暴力匹配，进行相应的匹配之后，使用刚性配准算法，建立如下所示的模型：y＝Ax，其中，y以及x分别代表匹配之后IHC以及HE的特征点，A为相应的转换矩阵，由于将其定义为一个粗配准，所以为了加快速度，同时减少相应的参数，因此只使用平移变换。即：其中，t_x以及t_y代表要训练得到的参数。