[发明专利]基于双粒度时间卷积的腹腔镜手术阶段识别方法与系统

说明书

本发明公开了一种基于双粒度时间卷积的腹腔镜手术阶段识别方法与系统，包括：1)构建腹腔镜手术数据集；2)利用双粒度时间卷积网络的双粒度时间卷积模块对图片序列进行初步特征提取，输出对每一帧图像的初始预测结果；3)使用双粒度时间卷积网络的单粒度时间卷积模块对双粒度时间卷积模块输出的初始预测结果进行校正；4)将预测结果映射到(0,1)区间内，得到最终手术阶段识别结果。本发明使用双粒度时间卷积网络实现腹腔镜手术阶段识别，具有更高的精度以及在不同背景下有更好的泛化能力，对于不同类型的手术阶段均能进行准确检测，利用手术视频的视觉和时序信息，能够解决在深度学习领域中能识别出手术阶段类别但难以准确区分阶段过渡帧的问题。

技术领域

本发明涉及腹腔镜微创外科手术图像处理与神经网络的技术领域，尤其是指一种基于双粒度时间卷积的腹腔镜手术阶段识别方法与系统。

背景技术

腹腔镜微创手术是一种常见的微创外科手术，它不仅能为患者提供实质性的医疗效益，而且由于手术过程中需要配备摄像头，因此它还为医生提供了记录手术视频的机会。通过手术视频对对手术流程进行复盘和分析，可以改善外科医生的技术质量，提高患者的安全性。然而人工检索手术视频是一项非常繁琐且耗时的事情，随着计算机辅助技术的日益成熟，自动化手术阶段识别方法能够更好地帮助医生监视和优化手术过程，提高医生的手眼协调并为潜在的偏差和异常生成预警提示。

然而，在复杂的手术场景下对手术阶段进行准确而快速的识别仍然是一项艰巨的任务。首先，由于安装在手术器械上的摄像头会随着医生的手部动作不停运动，拍摄出来的手术视频会不可避免地存在快速的场景切换片段和一些模糊帧。其次，手术工具的快速移动不可避免会造成画面模糊。第三，灼烧和切割组织产生的烟雾和血污会导致画面被不同程度地遮挡，加大了手术阶段的识别难度。

早期的计算机自动辅助手术阶段识别方法依靠手工制作的视觉特征来进行识别，例如颜色、纹理和形状等，但这些方法的通病是成本高且耗费人工，提取出来的特征通用性不强。随后深度学习的方法涌现，效率高于传统的手工特征制作方法，且准确率也很有竞争力。但仅依靠视觉特征对于高精度的手术阶段识别任务仍有局限性。因为手术视频天然地存在着时序特征，所以手术视频的时间上下文信息是实现准确预测手术阶段的关键。多阶段时间卷积已被证明有利于并行处理视频帧，能够成功应用于视频动作分割任务中。但普通的多阶段时间卷积只有一个随着层数增加而增大的膨胀因子。在网络深层，大的膨胀因子能够使卷积核作用在大的时间跨度上，有利于快速捕获全局信息，但也限制了其提取局部信息的能力。基于普通多阶段时间卷积的限制，本发明提出一种双粒度的时间卷积网络，能够同时利用两种大小的膨胀因子从中提取完整的全局信息和局部信息，大大提升了手术阶段的识别效果和过渡帧的识别准确率。

综合以上论述，发明一种具备实时性和高精度的腹腔镜手术阶段识别方法具有较高的实用价值。

发明内容

本发明的第一目的在于克服现有技术的缺点与不足，提供一种基于双粒度时间卷积的腹腔镜手术阶段识别方法，使用双粒度时间卷积网络实现腹腔镜手术阶段识别，具有更高的精度以及在不同背景下有更好的泛化能力，对于不同类型的手术阶段均能进行准确检测。利用手术视频的视觉和时序信息，能够解决在深度学习领域中能识别出手术阶段类别但难以准确区分阶段过渡帧的问题。

本发明的第二目的在于提供一种基于双粒度时间卷积的腹腔镜手术阶段识别系统。

本发明的第一目的通过下述技术方案实现：基于双粒度时间卷积的腹腔镜手术阶段识别方法，包括以下步骤：

1)收集腹腔镜手术视频，对每个视频进行下采样，每个视频的每个阶段保留若干张图像，制成腹腔镜手术数据集，按“地址/视频序号/帧序号”的格式命名排列，形成视频序列；

2)将腹腔镜手术数据集中的视频序列输入双粒度时间卷积网络的第一个部分即双粒度时间卷积模块，对长距离时间上下文信息进行建模，生成初始预测结果，并用交叉熵损失函数计算初始预测结果与实际数据之间的差距程度；