[发明专利]基于双粒度时间卷积的腹腔镜手术阶段识别方法与系统

权利要求书

1.基于双粒度时间卷积的腹腔镜手术阶段识别方法，其特征在于，包括以下步骤：

1)收集腹腔镜手术视频，对每个视频进行下采样，每个视频的每个阶段保留若干张图像，制成腹腔镜手术数据集，按“地址/视频序号/帧序号”的格式命名排列，形成视频序列；

2)将腹腔镜手术数据集中的视频序列输入双粒度时间卷积网络的第一个部分即双粒度时间卷积模块，对长距离时间上下文信息进行建模，生成初始预测结果，并用交叉熵损失函数计算初始预测结果与实际数据之间的差距程度；

3)将双粒度时间卷积模块生成的初始预测结果输入双粒度时间卷积网络的第二个部分即单粒度时间卷积模块，对双粒度时间卷积模块输出的初始预测结果进行校正，得到进一步精确的预测结果，并用交叉熵损失函数计算该预测结果与实际数据之间的差距程度；

4)使用SoftMax函数将步骤3)得到的预测结果映射到(0，1)区间内，得到最终的手术阶段识别结果。

2.根据权利要求1所述的基于双粒度时间卷积的腹腔镜手术阶段识别方法，其特征在于，在步骤1)中，首先，通过摄像机采集腹腔镜手术过程的图像，每一台完整的手术过程存为一个视频，然后对每一个视频的图像进行切片处理，制成图片数据集，并对图片进行图像增强操作，包括中心翻转、随机剪裁和洗乱顺序，最后，将其中的异常数据剔除，包括存在全图模糊、大规模幻影、光照极端以及拍摄不全的数据，构建腹腔镜手术数据集，并拆分为训练集、验证集和测试集。

3.根据权利要求1所述的基于双粒度时间卷积的腹腔镜手术阶段识别方法，其特征在于，在步骤2)中，所述双粒度时间卷积模块的具体情况如下：

第一部分为一个1×1卷积，用于调整输入特征图的尺寸和通道数；

第二部分为一个双粒度残差膨胀层，用字母d标识，共L_d层，每层由一个随层数增加而增大的膨胀卷积、一个随层数增加而减小的膨胀卷积、一个非线性激活层ReLU和一个1×1卷积组成；用l_d∈[0，L_d]表示当前层数，其中，随l_d增大而增大的膨胀卷积，其膨胀因子呈形式增大；而另一个随l_d增大而减小的膨胀卷积，它的膨胀因子以形式减小；

随层数增加而增大的膨胀卷积实质为递增的膨胀卷积，其过程如下公式(1)：

式中，是第l_d层膨胀因子为的膨胀卷积的输出，下标d₁用于标识膨胀因子为的膨胀卷积，是上一层的输出，是膨胀因子为的膨胀卷积核的权重，R^3×K×K表示尺寸为3×3的卷积核，3表示卷积核的尺寸为3×3，K表示3×3卷积核的数量，是递增的膨胀卷积的偏差向量；

随层数增加而减小的膨胀卷积实质为递减的膨胀卷积，其过程如下公式(2)：

式中，是第一层扩张因子为的膨胀卷积的输出，下标d₂用于标识膨胀因子为的膨胀卷积，是上一层的输出，是膨胀因子为的膨胀卷积核的权重，是递减的膨胀卷积的偏差向量；

原始特征图分别经过递增的膨胀卷积和递减的膨胀卷积后，会得到两种粒度的特征图，将这两种粒度的特征图逐通道相加，并经过非线性激活层ReLU激活，其过程如下公式(3)：

式中，cat(·)表示串联操作，目的是将和输出的特征图逐通道相加，是和输出的特征图相加后进行非线性激活的结果，即为双粒度的特征图；

得到双粒度的特征图后，需要将其输入一个1×1卷积调整尺寸，使其长宽与没有输入递增的膨胀卷积和递减的膨胀卷积的原始特征图相等，并将1×1卷积调整后的特征图与原始特征图相加，得到双粒度残差膨胀层的输出，其过程如下公式(4)和(5)：

式中，是对进行1×1卷积运算的结果，是双粒度残差膨胀层包含的1×1卷积的权重，是双粒度残差膨胀层包含的1×1卷积的偏差向量，是双粒度残差膨胀层在第l_d层的最终输出结果；

第三部分为一个1×1卷积，在结束L_d层的迭代后，还需要经过一个1×1卷积来调节输出特征图的尺寸和通道数。