[发明专利]一种基于专家眼动数据的微创手术错误预判与技能评价网络及其方法

说明书

本发明公开了一种基于专家眼动数据的微创手术错误预判与技能评价网络及其方法，所述方法包括以下步骤，S1、数据采集与预处理步骤：对影像设备视频帧预处理，获取手术专家分析视频时的眼动信号，生成与每一视频帧对应的眼动热图；S2、网络训练步骤：先预训练生成器，再采用对抗性方案训练生成器和鉴别器；S3、手术错误预判与技能评价步骤：使用训练好的网络分析手术视频，统计手术错误出现的频率并据此给出医生的技能评价；本发明中的方法无需对手术器械进行定位，通过学习专家观看辅助影像设备视频时的眼动模式，结合人工智能方法，直接分析辅助影像设备的视频输出，完成手术误差的预判，并给出医生手术技能的评价。

技术领域

本发明属于人工智能，计算机视觉技术领域，特别涉及一种基于专家眼动数据的微创手术错误预判与技能评价网络及其方法。

背景技术

与传统外科手术相比，微创手术是指在图像引导下，通过人体自然腔道或者血管网进行器械介入，在人体内实施手术的新技术，其创伤小、并发症少、术后恢复快，是现代治疗方式的新突破。然而，微创介入手术相较于传统外科手术，手术难度更大，面临着介入物细小、病变定位复杂等临床难点问题。微创介入手术的临床风险与外科医生操作手术器械的技能和其对闭合解剖结构的了解程度高度相关。自动化的手术错误预判与技能评价方法可用于手术技能培训、手术风险预估，可帮助减少术中伤害、提高手术安全性，具有一定研究价值和临床意义。

目前存在的手术错误预判与技能评价方法主要聚焦于跟踪外科医生执行特定手术任务时的手部动作及手术器械的运动，通过手术器械的空间定位技术得到器械的位置以测量目标距离误差，并与事先制定的标准进行对比。手术器械的空间定位技术一般可分为影像定位、电磁定位两大类。其中，影像定位一般利用X射线、术中CT和术中核磁成像等方式进行器械定位，然而X射线的使用会产生重复的辐射，给医生和患者带来安全性问题，而术中CT和术中核磁成像设备价格昂贵，且核磁成像会引入磁兼容性问题，限制了手术器械的选择与使用；电磁定位一般需要在器械前端固定磁线圈，据此产生并收集电磁信号来跟踪器械运动，然而这种方式会扩大器械的体积，影响医生的手术操作并带来磁兼容问题。

目前尚无不引入电磁兼容问题、保证医患安全、不干扰医生正常手术操作、价格较低且具有一定准确度的手术技能评价方法应用于微创手术中。

发明内容

为了解决现有技术中的问题，本发明提供一种基于专家眼动数据的微创手术错误预判与技能评价网络及其方法，该方法不会引入电磁兼容问题，不产生危害医患安全的辐射、不干扰医生正常手术操作且成本较低，能快速普及使用。

为实现上述目的，本发明采用的技术方案为：

一种基于专家眼动数据的微创手术错误预判与技能评价网络，包括两个CNN模块：生成器G和鉴别器D；

所述生成器G是一个多任务模型，主任务负责对输入的手术视频帧I_i中是否出现错误进行分类，辅助任务负责生成专家在进行手术评价时的注意力图；

所述鉴别器D将生成器G生成的注意力图和真实注意力图A进行对比，对输入的眼动热图是真实的还是由生成器G生成的进行分类。