[发明专利]用于内窥镜的组织腔体定位方法、装置、介质及设备

权利要求书

1.一种用于内窥镜的组织腔体定位方法，其特征在于，所述方法包括：

接收待识别的腔体图像序列，其中，所述腔体图像序列包含有多张连续的图像，所述腔体图像序列中的最后一张图像为内窥镜在其当前所处位置获得的；

根据所述腔体图像序列和关键点识别模型，确定所述腔体图像序列对应的组织腔体相对于所述最后一张图像的目标方向点，其中，所述目标方向点用于指示所述内窥镜在其当前所处位置的下一目标移动方向；

其中，所述关键点识别模型包括卷积子网络、时间循环子网络和解码子网络，所述卷积子网络用于获取所述腔体图像序列的空间特征，所述时间循环子网络用于获取所述腔体图像序列的时间特征，所述解码子网络用于基于所述空间特征和所述时间特征进行解码，以获得所述目标方向点；

所述关键点识别模型通过如下方式进行训练：

获取多组训练样本，其中，每组训练样本中包含训练图像序列以及与所述训练图像序列对应的标签图像；

将目标输入图像序列输入所述卷积子网络，获得所述目标输入图像序列对应的空间特征图像，并将所述目标输入图像序列输入所述时间循环子网络，获得所述目标输入图像序列对应的时间特征图像，其中，所述目标输入图像序列包含所述训练图像序列；

对所述空间特征图像和所述时间特征图像进行融合，获得融合特征图像；

将所述融合特征图像输入所述解码子网络，获得方向特征图像；

根据所述方向特征图像和所述目标输入图像序列对应的标签图像，确定所述关键点识别模型的目标损失；

在满足更新条件的情况下，根据所述目标损失对所述关键点识别模型的参数进行更新；

其中，所述根据所述方向特征图像和所述目标输入图像序列对应的标签图像，确定所述关键点识别模型的目标损失，包括：

根据所述标签图像中各点与所述标签图像中的标注方向点的位置，将所述标签图像转换为高斯特征图；

根据所述方向特征图像和所述高斯特征图，确定所述目标损失。

2.根据权利要求1所述的方法，其特征在于，所述目标输入图像序列还包括处理图像序列，所述处理图像序列为基于所述训练图像序列进行预处理所得的图像序列，所述处理图像序列对应的标签图像为对所述训练图像序列对应的标签图像进行相同的预处理所得的图像。

3.根据权利要求1所述的方法，其特征在于，通过以下公式根据所述标签图像中各点与所述标签图像中的标注方向点的位置，将所述标签图像转换为高斯特征图：

用于表示高斯特征图中坐标的特征值；

用于表示所述标签图像中的元素坐标值；

用于表示所述标签图像中标注方向点的坐标值；

用于表示高斯变换的超参数。

4.根据权利要求1所述的方法，其特征在于，所述解码子网络包含多层特征解码网络，每层特征解码网络输出的特征图尺寸不同；

所述根据所述方向特征图像和所述目标输入图像序列对应的标签图像，确定所述关键点识别模型的目标损失，包括：

针对每层特征解码网络，对该层特征解码网络输出的特征图或该标签图像进行标准化处理，以获得该层特征解码网络对应的尺寸相同的目标特征图和目标标签图像；

针对每层特征解码网络，根据该层特征解码网络对应的目标特征图与所述目标标签图像，确定该层特征解码网络对应的损失；

根据每层特征解码网络对应的损失确定所述关键点识别模型的目标损失。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

向所述内窥镜的驱动装置发送所述目标方向点，以使所述内窥镜向所述目标方向点移动；

并重新返回执行所述接收待识别的腔体图像序列的步骤，直至所述内窥镜到达目标位置点。