[发明专利]基于多尺度特征融合的手术器械图像智能分割方法和系统

说明书

本发明提供一种基于多尺度特征融合的手术器械图像智能分割方法和系统，涉及手术器械图像分割领域。本发明首先构建多尺度特征融合的轻量级网络架构，包括预先训练的编码器和解码器。将预处理得到高分辨率图像输入编码器的第一卷积神经子网络，低分辨图像输入编码器的第二卷积神经子网络，分别获取大尺度图像特征信息和小尺度图像特征信息；采用级联方式对维度大小相同的大尺度图像特征信息和小尺度图像特征信息进行融合；将最终图像特征信息输入解码器，以及将各个融合特征信息跳层连接至各个解码单元执行上采样操作，获取手术器械图像智能分割结果。相较于传统的深度学习方法，获取的手术器械图像分割结果具有较高的准确性，降低模型的推理时间。

技术领域

本发明涉及手术器械图像分割技术领域，具体涉及一种基于多尺度特征融合的手术器械图像智能分割方法、系统、存储介质和电子设备。

背景技术

随着科技水平的不断发展，微创手术在各级医院的占比不断提升。相对于传统的外科手术而言，微创手术的视野受限，腔体空间狭窄，增加了微创手术的手术难度，外科医生的学习曲线也随之变长。同时，与三甲医院医生相比，基层医院医生微创诊疗能力有限，微创手术技能水平不高，增加了患者术后并发症与二次入院治疗的风险。

目前，微创手术视频智能分析技术的出现，可以有效利用微创手术视频中的视觉信息，智能化识别与追踪手术器械，为外科手术医生提供手术术中导航以及术后的质量评估等手术智能辅助功能。但现有的微创手术器械识别方法的研究中，存在着以下不足：(1)传统的手术器械识别方法通常需要包括射频识别标签(RFID)、传感器等人工标注工具，会导致手术器械尺寸变化，手术器械消毒难度增加、手术器械识别精度低等问题。(2)在微创手术过程中，内窥镜运动产生的手术器械镜面反射、运动模糊和手术中产生的烟雾遮挡、术中的病灶出血等常见现象，会造成手术器械的形态发生改变，基于手工特征或者浅层CNN网络方法的微创手术视频分析技术的效果并不理想。

因此，基于微创手术视频数据，人们亟需一种能够对手术器械进行自动化、精准化的识别与追踪的技术方案。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于多尺度特征融合的手术器械图像智能分割方法、系统、存储介质和电子设备，解决了现有技术无法对手术器械进行自动化、精准化的识别与追踪的技术问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

第一方面，提供一种基于多尺度特征融合的手术器械图像智能分割方法，该方法首先构建多尺度特征融合的轻量级网络架构，所述轻量级网络架构包括预先训练的编码器和解码器，所述编码器包括并联的第一卷积神经子网络和第二卷积神经子网络；所述方法包括：

S1、预处理手术器械图像，获取高分辨率图像和低分辨图像，所述高分辨率图像的分辨率为所述低分辨率图像的两倍；

S2、将所述高分辨率图像输入所述第一卷积神经子网络，获取对应的各个隐藏层中最后一卷积层输出的大尺度图像特征信息；将所述低分辨图像输入所述第二卷积神经子网络，获取对应的各个隐藏层中最后一卷积层输出的小尺度图像特征信息，以及获取所述第二卷积神经子网络输出的最终图像特征信息；

S3、采用级联方式对维度大小相同的所述大尺度图像特征信息和小尺度图像特征信息进行融合，获取不同维度大小的融合特征信息；

S4、将所述最终图像特征信息输入所述解码器的第一个解码单元，以及将各个所述融合特征信息跳层连接至所述解码器的各个解码单元执行上采样操作，获取手术器械图像智能分割结果。

优选的，所述S1中采用双线性二插法将所述高分辨率图像裁剪得到所述低分辨率图像。

优选的，所述S2中第一卷积神经子网络的结构包括：