[发明专利]基于半监督时空注意力网络的视频息肉分割方法、装置

说明书

本发明公开了一种基于半监督时空注意力网络的视频息肉分割方法、装置、计算机设备及存储介质，通过半监督训练方法对息肉分割模型进行训练，且通过多层解码器和编码器构建了U型网络架构，在每层编码器与解码器之间设置了时间局部上下文注意力模块或者帧间时空注意力模块，通过时间局部上下文注意力模块，利用相邻帧之间的连续性和跨层不同尺度的特征，可以更好的分割视频帧，同时采用帧间时空注意力模块，利用接近视频帧间的时间和空间信息，有效提高了分割准确性，且摆脱了以往因为视频数据集的标注工作量过大，质量要求过高，而导致的数据量少，无法应用于训练的困境，提高了模型的实用性。

技术领域

本发明涉及医学影像处理技术领域，尤其涉及一种基于半监督时空注意力网络的视频息肉分割方法、装置、计算机设备及存储介质。

背景技术

近年来，随着人们生活水平的提升，生活与工作习惯的改变，结肠癌的患病率逐年提高。而预防结肠癌最有效的方法就是肠镜检查，医生通过肠镜检查肠道的息肉、进行采样和后续的病理分析，以达到早检测早治疗的效果。

而随着人工智能技术的不断发展，为了辅助医生做出诊断，提高医生的效率，并且减少误诊漏诊的情况发生，越来越多的AI辅助诊断技术被加入到肠镜的检测过程之中。主要包括全监督视频息肉分割方法、全监督图片息肉分割方法、半监督视频息肉分割方法和半监督图片息肉分割方法四大类。

全监督图片息肉分割方法通常可以取得较高的精度，但，其每张图片都要有息肉标注，消耗了很多标注的人力物力。全监督视频息肉分割方法可以取得更好的效果，原因是其考虑到了视频之间的连续性，但是视频的数据量比图片更大，需要标注的工作量就更大，算法的实用性就更低。而目前半监督的算法虽然可以利用少量的有标注数据和剩余的无标注数据来实现分割，但是，由于其没有充分学习到未标准数据的信息，也没有办法克服肠镜数据的连续性，因此导致其分割精度较低。

发明内容

基于此，有必要针对上述技术问题，提供一种基于半监督时空注意力网络的视频息肉分割方法、装置、计算机设备及存储介质，以解决现有技术中进行视频息肉分割时，实用性差，且分割精度低的问题。

第一方面，提供了一种基于半监督时空注意力网络的视频息肉分割方法，包括：

获取待检测病人的肠镜视频数据；

将所述肠镜视频数据分割成预设大小的视频片段，并输入至预设息肉分割模型中，所述预设息肉分割模型包括N层编码器以及N层解码器；

按照1至N-1层的顺序，依次将每层编码器的输出特征，作为下一层编码器的输入特征，以及时间局部上下文注意力模块的输入特征；

通过所述接近帧间时空注意力模块，对第N层编码器的输出特征进行注意力机制计算，以获取时空特征，并作为第一层解码器的输入特征；

按照1至N-1层的顺序，依次将每层解码器的输出特征，以及上一层编码器的输出特征，通过时间局部上下文注意力模块，进行注意力机制计算，以获取时间特征，将所述时间特征与所述解码器的输出特征，作为上一层解码器的输入特征，直到通过第N层解码器输出实际分割结果。

在一实施例中，所述通过接近帧间时空注意力模块，对第N层编码器输出的特征进行注意力机制计算，包括：

将所述第N层编码器的输出特征转换为预设维度，并划分为多个预设大小的分块；

通过时间注意力模块，对所述分块进行注意力机制计算，以获取第一特征；

通过空间注意力模块对所述第一特征进行注意力机制运算，以获取第二特征；

将所述第二特征输入至多层感知器中进行处理，以获取所述时空特征。

在一实施例中，所述通过时间注意力模块，对所述分块进行注意力机制计算，以获取第一特征，包括：