[发明专利]应用于机器人辅助手术视频分析的实时手术工具检测方法

说明书

本公开提出了应用于机器人辅助手术视频分析的实时手术工具检测方法，包括：采集机器人辅助手术视频并处理得到手术图像；对手术图像进行手术工具关键点估计得到手术工具中心点的热度图，再根据热度图峰值预测手术工具的中心点及手术工具的尺寸；由预测的手术工具的中心点及其尺寸计算得到手术工具的边界框。采用轻量级卷积神经网络，利用火模块代替传统沙漏网络中的残差模块，大大减少了卷积神经网络训练所需要的参数，在保证较高检测准确率的同时，提高了检测速度，满足实时性的检测要求。

技术领域

本公开属于机器人辅助手术视频分析的技术领域，尤其涉及应用于机器人辅助手术视频分析的实时手术工具检测方法。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

机器人辅助手术，主要有机器人辅助手术操作和机器人辅助手术导航两大类。计算机辅助手术操作是外科医生借助机器人手臂进行手术操作，以减少因为人的主观意识、疲劳等其他因素造成的手术事故，外科医生可远离手术台操纵机器人进行精准手术，完全不同于传统的手术概念，可以降低医护人员被传染的概率。计算机辅助手术导航是将病人手术前或手术中的视频数据与手术床上病人的解剖结构进行准确对应，手术中跟踪手术工具并将手术工具的位置在病人影像上以虚拟探针的方式进行实时地更新显示，使医生对手术工具相对病人解剖结构的位置一目了然，使外科手术更快速、更精确、更安全。

视频分析技术，是使用计算机图像视觉分析技术，通过把场景中的背景和物体区分开，进一步分析和追踪在摄像机场景中的物体。视频分析是依照人眼的生物特性来创建一个基本的运行思路，即采集、预处理、处理、动作。首先采集有经验医生手术过程中的视频数据；然后对画面清晰、过程完整的手术视频进行分帧；再在分帧得到的手术图像中识别出手术工具的出现时间、位置等信息；最后根据得到的手术工具的信息以实现培训新手，手术预警以及手术室资源调配等。

实时手术工具检测，是计算机视觉中的经典问题之一，其任务是用方框标示出图像中手术工具的具体位置，并给出手术工具的类别。因为要将手术工具检测技术用在手术视频图像中，所以需要在手术工具的检测过程中做到又快又准，即实时性和准确性是手术工具检测的需求。

与一般的目标检测任务不同，用于手术工具检测的实际图像往往存在着血雾、模糊、移动速度过快等不利于手术工具检测的因素，这就会导致手术工具检测精度下降，从而影响手术导航过程对人体造成危害；另一方面来说，要通过手术工具检测来帮助实施手术导航，实时性是非常必要的，若达不到手术工具检测的实时性，就会延误医生在手术过程中的视野，对人体造成不必要的损害。但是目前的手术工具检测所采用的方法非常耗时，需要生成非常多的锚盒作为先验框甚至还需要将先验框映射回图像特征图，这增加了计算量，非常耗时，达不到实时性的效果。

发明内容

为克服上述现有技术的不足，本公开提供了应用于机器人辅助手术视频分析的实时手术工具检测方法,提高了手术工具检测的速度及准确度。

一方面，为实现上述目的，本公开的一个或多个实施例提供了如下技术方案：

应用于机器人辅助手术视频分析的实时手术工具检测方法，包括：

采集机器人辅助手术视频并处理得到手术图像；

对手术图像进行手术工具关键点估计得到手术工具中心点的热度图，再根据热度图峰值预测手术工具的中心点及手术工具的尺寸；

由预测的手术工具的中心点及其尺寸得到手术工具的边界框。

进一步的技术方案，采用训练轻量级神经网络框架后得到的手术工具关键点估计器对手术图像进行手术工具关键点进行估计。

另一方面，公开了应用于机器人辅助手术视频分析的实时手术工具检测系统,包括：

手术图像获取模块，被配置为采集机器人辅助手术视频并处理得到手术图像；