[发明专利]一种基于深度神经网络的眼底图像拼接方法

说明书

本发明公开了一种基于深度神经网络的眼底图像拼接方法，包括以下步骤：S1读取采集到的多张眼底图像，将眼底图像处理为眼底血管图；S2对眼底图像和眼底血管图进行去黑框处理；S3通过预先训练过的深度神经网络确定基准图及初步判断眼病的类型，并赋予每张眼底图像一个标签；S4采用SURF算法、HOG算法和LBP算法提取眼底图像和眼底血管图的特征点，并对所有特征点赋予不同的权重值；S5对所有特征点进行匹配；S6按照优先保留权重值大的特征点对的原则，采用RANSAC算法对所有特征点对进行筛选；S7计算特征点对的透视变换矩阵，对图像进行拼接；S8将拼接好的图像输入到深度神经网络进行检测。本发明能提高拼接图像的准确性和拼接效率。

技术领域

本发明涉及一种基于深度神经网络的眼底图像拼接方法，属于医学图像处理技术领域。

背景技术

目前，眼底图像一般通过眼底照相机获得，由于眼底照相机的局限，所获得的图像只能是眼底的局部图像，这就使得眼科医生在临床的诊断和治疗中只能靠肉眼进行观察和手工进行对齐，不仅效率低，而且准确率不能得到保证。解决这个问题有两个途径，一个是增大设备成像的视野范围，但这通常需要较昂贵的费用，对大部分医院来说不现实。另一个途径是对多幅眼底图像进行拼接，使其在一张图上呈现出患者整个眼底的图像，从而满足临床诊断和治疗的需要。

现有的眼底图像拼接技术主要存在如下缺点：一是特征点过少导致无法配准，或误匹配点太多导致匹配参数求解有误；二是不能根据眼病的类型对拼接方案进行调整，影响拼接效果；三是拼接速度慢，且不能对拼接结果进行验证。

发明内容

本发明的目的在于针对现有技术的不足而提供一种基于深度神经网络的眼底图像拼接方法，该方法通过三种算法对眼底图像和眼底血管图提取特征点，能获取更多的特征点，并通过赋予特征点不同的权重值能有效筛选特征点对，从而使拼接图像更精确，拼接效率更高。

本发明的目的是通过以下技术方案实现的：

一种基于深度神经网络的眼底图像拼接方法，包括如下步骤：

S1：读取采集到的多张眼底图像，将所有眼底图像采用U-NET算法处理为眼底血管图；

S2：对眼底图像和眼底血管图进行去黑框处理；

S3：通过预先训练过的深度神经网络确定基准图及初步判断眼病的类型，并赋予每张眼底图像一个标签，标签上记载有该眼底图像是否为基准图、该眼底图像相对于基准图的位置、以及用int型数据表达的该眼底图像是否带有病灶及病灶类型；

S4：采用SURF(Speed-Up Robust Features)算法、HOG(Histogram of OrientedGradient)算法和LBP(Local Binary Pattern)算法提取所有眼底图像和眼底血管图的特征点，并对同时满足上述三种算法、满足上述三种算法中任意两种算法或满足上述三种算法中任意一种算法的特征点赋予不同的权重值，对带病灶图像上的特征点根据不同的眼病额外增加权重值；

S5：对上述所有特征点进行匹配，匹配完成后，将眼底血管图匹配的特征点对转换为相对应的眼底图像的特征点对，并对重合的特征点对的权重值重新进行计算；

S6：按照优先保留权重值大的特征点对的原则，采用RANSAC(Random SampleConsensus随机抽样一致性)算法对所有特征点对进行筛选，剔除误匹配点；

S7：将图像切割成无数小方块，采用DLT(Direct Linear Transformation-DLT)算法，对每个小方块的特征点对进行透视变换矩阵计算，然后将图像按照标签上相对于基准图的位置关系进行局部精准拼接，拼接时如出现重叠区域则保留基准图部分；