[发明专利]一种基于专家眼动数据的微创手术错误预判与技能评价网络及其方法

权利要求书

1.一种基于专家眼动数据的微创手术错误预判与技能评价网络，其特征在于，包括两个CNN模块：生成器G和鉴别器D；

所述生成器G是一个多任务模型，主任务负责对输入的手术视频帧I_i中是否出现错误进行分类，辅助任务负责生成专家在进行手术评价时的注意力图；

所述鉴别器D将生成器G生成的注意力图和真实注意力图A进行对比，对输入的眼动热图是真实的还是由生成器G生成的进行分类。

2.根据权利要求1所述的基于专家眼动数据的微创手术错误预判与技能评价网络，其特征在于，

所述生成器G采用全卷积网络，前三个卷积块所有卷积层都使用3x3的卷积核，其中，第一个卷积块获取240x240大小的图像输入，分为两层，每层16个卷积核，之后进行2x2的最大池化；第二个卷积块分为两层，每层32个卷积核，之后进行2x2的最大池化；第三个卷积块分为三层，每层64个卷积核；第三个卷积块得到的特征图φ_c3被分别用作辅助任务的注意力图预测和主任务的分类；辅助任务和主任务在第三个卷积块后分支，辅助任务和主任务的第四个卷积块采用了相同的结构：先对特征图φ_c3进行2x2的最大池化，再通过三层含有128个3x3卷积核的卷积层，分别得到30x30的特征图φ_c4S和特征图φ_c4C，二者经过点积，输入第五个卷积块中，通过三层含有128个3x3卷积核的卷积层；经过共五个卷积块后，特征图被送入适配层进行通道压缩，适配层采用1x1的卷积核，第一个适配层含有256个卷积核，第二个适配层含有2个卷积核，经过两层适配层后，得到两张30x30的特征图，对两张30x30的特征图进行全局平均池化，使用softmax得到分类分数向量。

3.根据权利要求1所述的基于专家眼动数据的微创手术错误预判与技能评价网络，其特征在于，

所述鉴别器D是一个具有三个卷积层的CNN网络，分别具有64、128、256个3x3卷积核，每个层都具有2x2的最大池化，采用leaky Relu激活；卷积层后连接了三个全连接层，前两层由tanh激活，最后一层使用sigmoid激活；由于专家的注意力与视频帧的内容有关，将生成的注意力图或真实注意力图A与对应视频帧I复合后作为鉴别器D的输入。

4.根据权利要求3所述的基于专家眼动数据的微创手术错误预判与技能评价网络，其特征在于，

将生成的注意力图或真实注意力图A之间的像素级内容损失定义为L_s，使用二进制交叉熵(BCE)衡量；对于分类任务，使用交叉熵损失并定义为L_C；取超参数λ₁、γ₂、λ₃，用于控制三个损失的相对贡献，设样本视频帧总量为m，第i个视频帧为I_i，基于其生成的注意力图为相应的真实注意力图为A_i，生成器损失L_G和鉴别器损失L_D定义为：

其中：D(I_i,A_i；θ_D)表示鉴别器成功识别真实注意力图的概率，而表示鉴别器被欺骗的概率，θ_D表示D的权重。

5.根据权利要求1-4任一所述网络的基于专家眼动数据的微创手术错误预判与技能评价方法，其特征在于，包括以下步骤：

S1、数据采集与预处理步骤：对影像设备视频帧预处理，获取手术专家分析视频时的眼动信号，生成与每一视频帧对应的眼动热图；

S2、网络训练步骤：先预训练生成器，再采用对抗性方案训练生成器和鉴别器；

S3、手术错误预判与技能评价步骤：使用训练好的网络分析手术视频，统计手术错误出现的频率并据此给出医生的技能评价。