[发明专利]内窥镜图像的处理方法、装置、可读介质和电子设备

权利要求书

1.一种内窥镜图像的处理方法，其特征在于，所述方法包括：

获取当前时刻内窥镜采集的组织图像；

根据所述组织图像和历史组织图像，通过预先训练的三维重建模型确定所述组织图像对应的深度图像、所述组织图像与所述历史组织图像之间的姿态参数，并根据所述组织图像、所述深度图像和所述姿态参数确定所述组织图像对应的三维组织图像，所述历史组织图像为当前时刻之前所述内窥镜采集的图像；

将所述三维组织图像投影至组织模板，以确定所述三维组织图像中投影与所述组织模板重叠的可见区域，和所述三维组织图像中投影与所述组织模板不重叠的盲区区域，所述组织模板用于表征所述内窥镜检查的组织的整体形状；

根据所述可见区域和所述盲区区域，确定所述内窥镜检查过程中的盲区比例。

2.根据权利要求1所述的方法，其特征在于，所述三维重建模型包括：深度子模型、姿态子模型和融合子模型；

所述根据所述组织图像和历史组织图像，通过预先训练的三维重建模型确定所述组织图像对应的深度图像、所述组织图像与所述历史组织图像之间的姿态参数，并根据所述组织图像、所述深度图像和所述姿态参数确定所述组织图像对应的三维组织图像，包括：

将所述组织图像输入所述深度子模型，以得到所述深度子模型输出的所述深度图像；

将所述组织图像和历史组织图像输入所述姿态子模型，以得到所述姿态子模型输出的所述姿态参数，所述姿态参数包括旋转矩阵和平移向量；

通过所述融合子模型根据所述组织图像、所述深度图像和所述姿态参数进行三维融合，以得到所述三维组织图像。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述内窥镜的运动轨迹，并对所述运动轨迹进行平滑处理；

以平滑处理后的所述运动轨迹作为中心线，按照预设的模板半径建立所述组织模板。

4.根据权利要求1所述的方法，其特征在于，所述将所述三维组织图像投影至组织模板，以确定所述三维图像中投影与所述组织模板重叠的可见区域，和所述三维图像中投影与所述组织模板不重叠的盲区区域，包括：

将预设时间段内采集的多个所述组织图像中，每个所述组织图像对应的所述三维组织图像进行拼接，以得到三维总图像；

将所述三维总图像投影至所述组织模板，以确定所述三维总图像中投影与所述组织模板重叠的所述可见区域，和所述三维总图像中投影与所述组织模板不重叠的所述盲区区域。

5.根据权利要求2所述的方法，其特征在于，所述三维重建模型是通过以下步骤，与光流模型联合训练得到的：

将样本组织图像输入所述深度子模型，以得到所述样本组织图像对应的样本深度图像以及采集所述样本组织图像的内窥镜内参数，并将历史样本组织图像输入所述深度子模型，以得到所述历史样本组织图像对应的历史样本深度图像，所述历史样本组织图像为在所述样本组织图像之前采集的图像，所述内窥镜内参数包括焦距和平移尺寸；

将所述样本组织图像和所述历史样本组织图像输入所述姿态子模型，以得到所述姿态子模型输出的，所述样本组织图像与所述历史样本组织图像之间的样本姿态参数；

将所述样本组织图像和所述历史样本组织图像输入所述光流模型，以得到所述光流模型输出的，所述样本组织图像与所述历史样本组织图像之间的样本光流图；

根据所述内窥镜内参数、所述样本深度图像、所述历史样本深度图像、所述样本姿态参数和所述样本光流图，确定目标损失；

以降低所述目标损失为目标，利用反向传播算法训练所述三维重建模型和所述光流模型。