[发明专利]基于孪生网络的胶囊内窥镜视频图像冗余帧去除的方法

说明书

本发明提供一种基于孪生网络的胶囊内窥镜视频图像冗余帧去除的方法，包括以下步骤：S1、选取连续的三帧图像，利用孪生网络模型获取每帧图像的特征图；S2、计算各个特征图之间的欧式距离；S3、利用逻辑回归模型根据欧式距离判断图像之间的相似性，从相似的图像中仅保留一张，或者保留不相似的图像；S4、从去除冗余后的图像中选择帧数在后的图像和新的连续帧图像，执行步骤S1~S3；通过以上步骤实现将胶囊内窥镜视频图像冗余帧删除。与现有技术相比，能够可靠的去除胶囊内窥镜视频图像冗余帧，而且能够避免丢失用于给医师辅助诊断的关键的图像信息。经测算，本发明中，每张图片的处理速度为0.017秒，能够满足实时处理的需求。

技术领域

本发明涉及医疗图像处理领域，特别是一种基于孪生网络的胶囊内窥镜视频图像冗余帧去除的方法。

背景技术

消化道疾病，如溃疡、出血和肿瘤等极大地危害着人们的健康。造成消化系统癌症多发的最主要原因仍然是早期诊断率低，传统检测手段是依靠机械推入式的内窥镜很难到达胃肠道的理想位置，诊断过程中因其舒适性差会对患者身体造成伤害和痛苦，使得患者产生畏惧心理，从而放弃检查，错失了最佳治疗时机。无线胶囊内窥镜(Wireless CapsuleEndoscopy,WCE)技术具有无痛、无创、无不适、无需麻醉等优点，同时还能深入到传统推入式内窥镜难以到达的小肠部分区域进行检查，为消化道疾病提供了一种新的检测手段。随着第一粒胶囊问世以来，胶囊内窥镜在临床应用得到了快速的增长。人的消化道较长，胶囊内窥镜在体内工作时间长达8小时左右，在此期间，胶囊内窥镜会产生每秒12-24帧的视频，即每位患者会有5-6万张24位的海量彩色图像，但病变图像所占比例不到整个图像的1％，为了减少漏诊和误诊，医生往往要重复检查，工作量极大，识别效率极低。此外，这些图像里还包含20％无效干扰内容，例如气泡、食物残渣和胆汁等，审阅这些图片会浪费医生大量的时间。由于人工判读效率低下，会直接影响到胶囊内窥镜大规模的使用，不利于胶囊内窥镜的推广与长期发展。因此需要迫切寻找一种低误检、低漏检、高效率且顾及到对海量的内窥镜图像冗余帧去除的方法。中国专利文献CN101584571A记载了一种胶囊内镜辅助读片方法，其中记载了训练一个病灶部位分类器，为识别病灶部位做准备，并记载了应用模式识别技术，删除内镜图片序列中相似度较高的冗余帧。即其采用了先识别病灶再去除冗余帧的方案，但是其并未记载具体的方案，因此并不足以进行实施。

发明内容

本发明所要解决的技术问题是提供一种基于孪生网络的胶囊内窥镜视频图像冗余帧去除的方法，能够有效的去除胶囊内窥镜视频图像冗余帧，避免丢失用于辅助医师诊断病情的关键数据，且去除冗余帧的速度较快，效率较高。

为解决上述技术问题，本发明所采用的技术方案是：一种基于孪生网络的胶囊内窥镜视频图像冗余帧去除的方法，包括以下步骤：

S1、选取连续的三帧图像，利用孪生网络模型获取每帧图像的特征图；

S2、计算各个特征图之间的欧式距离；

S3、利用逻辑回归模型根据欧式距离判断图像之间的相似性，从相似的图像中仅保留一张，或者保留不相似的图像；

S4、从去除冗余后的图像中选择帧数在后的图像和新的连续帧图像，执行步骤S1～S3；

通过以上步骤实现将胶囊内窥镜视频图像冗余帧删除。

优选的方案中，还包括孪生网络模型的训练步骤：

S01、在孪生网络模型的训练数据集中，选择一张胶囊内窥镜图片作为锚样本，再选择一张与锚样本相似的图片作为正样本和一张与锚样本不相似的图片作为负样本；

S02、使用ResNet-50模型提取步骤S01中选择的三张胶囊内窥镜图像特征；

S03，计算锚样本与正样本之间的欧式距离和锚样本与负样本之间的欧式距离；

S04，利用逻辑回归算法判定锚样本与正样本和锚样本与负样本之间的相似性；