[发明专利]一种基于deeplabv3+网络的咽部图像分割及定位方法

说明书

本发明公开了一种基于deeplabv3+网络的咽部图像分割及定位方法，包括：利用深度相机获取咽部的彩色图和深度图；基于彩色图，利用基于deeplabv3+网络构建的分割模型进行处理，得到图像分割结果；使用边界检测算子得到咽部在图像分割结果中的像素坐标；基于深度图，根据咽部的像素坐标得到咽部的深度值；根据深度相机的标定参数，基于咽部的像素坐标和深度值得到咽部在世界坐标系下的位置信息，完成定位。本发明可提高图像分割及定位精度。

技术领域

本发明属于深度学习医学影像分割技术领域，具体涉及一种基于deeplabv3+网络的咽部图像分割及定位方法。

背景技术

目前对冠状病毒最准确有效的检测手段是核酸检测，核酸检测包括鼻咽拭子，咽拭子相较于鼻拭子更为普遍，而目前核酸采集手段多数是人工采集，大规模高强度的工作量会存在风险。第一，医护人员存在交叉感染的风险；第二，高强度的工作量会影响医护人员的身心健康。面对上述问题促进核酸采样自动化是必不可少的，使用机械臂或机器人部分代替医护人员进行采样，并且建立一种咽部图像的分割模型辅以检测采样部位并实施采样。

针对咽部图像分割技术研究，从数据集方面来看，当前咽部图像公开数据集较少，且咽部图像分割场景常常存在光线、棉签遮挡等干扰，所以需要建立一套标准数据集；从图像分割领域来看，当前主要存在使用Mask RCNN与unet两种分割模型进行实例分割的研究，然而上述实例分割方法存在着一些问题，例如：使用Mask RCNN进行分割时，虽然检测速度快但对于噪声大的图像分割效果不佳，使用Mask RCNN的相关研究中分割目标为扁桃体(体积小)，忽略了扁桃体疾病对于分割效果的干扰；使用unet的相关研究中未考虑检测速度这一指标，且unet对于多尺度信息提取效果也不佳。因此目前亟需一种有效的分割模型来应对咽部图像的分割定位，这不仅能够快速促进核酸采样自动化的发展，而且在常规医学领域(例如鼻咽癌图像分割、喉咽内镜检测等领域)也将具有较大的应用前景。

发明内容

本发明的目的在于提供一种基于deeplabv3+网络的咽部图像分割及定位方法，提高图像分割及定位精度。

为实现上述目的，本发明所采取的技术方案为：

一种基于deeplabv3+网络的咽部图像分割及定位方法，所述基于deeplabv3+网络的咽部图像分割及定位方法，包括：

步骤1、利用深度相机获取咽部的彩色图和深度图；

步骤2、基于彩色图，利用基于deeplabv3+网络构建的分割模型进行处理，得到图像分割结果；

步骤3、使用边界检测算子得到咽部在图像分割结果中的像素坐标；

步骤4、基于深度图，根据咽部的像素坐标得到咽部的深度值；

步骤5、根据深度相机的标定参数，基于咽部的像素坐标和深度值得到咽部在世界坐标系下的位置信息，完成定位。

以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。

作为优选，所述基于彩色图，利用基于deeplabv3+网络构建的分割模型进行处理，得到图像分割结果，包括：

对deeplabv3+网络进行训练得到分割模型，所述deeplabv3+网络主体为编码器解码器结构；

在编码器部分采用深度可分离卷积，主干网络提取特征得到初步图像特征，再通过加强特征提取ASPP模块中的并行空洞卷积层提取初步图像特征不同的空间信息并进行特征融合，得到多尺度特征；