[发明专利]一种基于边缘信息的手术视频流程识别方法

说明书

本发明为一种基于边缘信息的手术视频流程识别方法，属于人工智能和医疗应用领域。该方法包含以下步骤：S1：对手术视频进行采样，提取原始图像，并对原始图像进行边缘化信息提取；S2：采用两个并联卷积神经网络分别对原始图像和边缘信息进行处理；S3：将两个卷积神经网络的输出进行拼接；S4：采用分类器对拼接信息进行分类识别，判断当前原始图像对应的手术视频流程阶段；S5：对卷积神经网络和分类器采用已分类的训练集手术视频进行训练，评估手术视频流程阶段识别效果，确定相关参数。本发明提出了一种基于边缘信息的手术视频流程识别方法，能够自动、准确、快速的对手术视频图像进行提取和分类，实现自动识别手术流程。

技术领域

本发明涉及一种基于边缘信息的手术视频流程识别方法，属于人工智能和医疗应用领域，尤其适用于基于边缘信息的手术视频流程识别等。

背景技术

实时手术流程自动检测作为一种计算机辅助手术系统，由于能提高手术过程的安全性，已成为一种新兴的趋势。近年来，深度学习技术在医学治疗和诊断方面展现了很大的潜能，为人们带来了方便和快捷。目前，深度学习在手术视频的识别方面实现了视频标注、任务检索、概念检测、视频摘要和工作流分析。其中，从手术视频中自动识别手术流程仍是当前AI医疗的一个研究热点。手术流程自动识别分为在线识别和离线识别，其中，离线识别手术流程可以方便外科医生以及实习生从手术视频中搜索特定的操作任务和工具；而在线识别手术流程可以提醒外科医生注意并发症的发生，减少外科医生在手术中的操作失误，从而提高手术期间的安全性。此外，它还可以为手术室外的临床工作人员提供相关手术进展的信息，为手术后续相关工作的安排也起到一个参考的作用。然而，由于手术流程本身的不确定性，如意外出血、其他不良事件、人为错误和个人技能等各种因素可以影响自动手术流程的判断，通过视觉信息识别手术流程仍然是一项复杂的任务。

发明内容

有鉴于此，本发明提供一种基于边缘信息的手术视频流程识别方法，自动、准确、快速的对手术视频图像进行提取和分类，实现自动识别手术流程。

为达到上述目的，本发明提供如下技术方案：

一种基于边缘信息的手术视频流程识别方法，包括如下步骤：

S1：对手术视频进行采样，提取原始图像，并对原始图像进行边缘化信息提取；

S2：采用两个并联卷积神经网络(CNN)分别对原始图像和边缘信息进行处理；

S3：将两个卷积神经网络的输出进行拼接；

S4：采用分类器对拼接信息进行分类识别，判断当前原始图像对应的手术视频流程阶段；

S5：对卷积神经网络和分类器采用已分类的训练集手术视频进行训练，评估手术视频流程阶段识别效果，确定相关参数。

进一步，所述的步骤S1具体为：通过安装在手术室或者手术台等地方的摄像头获取手术视频，每隔固定时长提取一帧原始图像，利用边缘化处理方法提取原始图像的边缘信息，将原始图片以及边缘化处理后的边缘信息分别存储为独立的两个数据集。

更进一步，所述的边缘化处理方法为Sobel算子、Laplacian算子、Canny算子三种边缘化处理方法之一，根据手术不同的场景，择优选取识别效果最好的边缘化处理方法。

进一步，步骤S2所述的两个并联卷积神经网络其网络参数相互独立，可以为ResNet网络。

进一步，步骤S3所述的将拼接为在两个并联卷积神经网络的最后一层的全连接层后采用concat方法进行拼接，其中两个并联卷积神经网络共享同一权重。