[发明专利]基于深度学习的消化内镜视频帧有效信息区域提取方法

说明书

本发明涉及医疗图像处理技术领域，尤其涉及基于深度学习的消化内镜视频帧有效信息区域提取方法，首先构建智能裁边模型，然后收集不同型号的消化内镜视频图片作为训练样本对模型进行训练，通过训练获得网络模型参数，利用智能裁边模型对待处理的视频帧数据实时计算，实现对当前图片有效信息区域的提取。在对消化内镜检查视频进行人工智能实时辅助质量监控、病灶标记及病变诊断时，该方法作为前置处理模块，利用智能裁边模型识别出当前图片帧的有效信息区域，生成只包含有效信息区域的新图片帧作为后续的深度学习识别算法的输入。这样可以有效防止无效信息的干扰，提高后续深度学习算法的识别精度，有效提高人工智能辅助识别能力。

技术领域

本发明涉及医疗图像处理技术领域，尤其涉及基于深度学习的消化内镜视频帧有效信息区域提取方法。

背景技术

近年来，以深度神经网络为核心的人工智能技术在多个应用领域成绩斐然。近期一些研究成果表明，计算机通过深度神经网络算法，基于大规模数据集训练的人工智能模型可以在许多应用中取得接近甚至超过人类的表现。张宏娜等人的《人工智能在消化内镜检查中的应用进展》中阐述了目前人工智能正在逐渐被应用于医学领域，其应用于内镜检查中的研究越来越多，不论是病变类型(肿瘤、息肉、出血、炎性反应等)还是病变部位(上、中、下消化道)的研究，人工智能的发展为消化道疾病的诊断提供了新的思路。《消化内镜人工智能数据采集与标注质量控制体系专家共识意见(草案2019,上海)》聚焦于人工智能内镜数据的采集与标注，着力阐明数据采集、标注、存储、隐私保护、数据安全以及使用标注等关键问题，以期更好地服务于内镜人工智能模型的训练、调优与测评。内镜人工智能模型是基于大量的消化内镜图像来完成训练，由此可见，内镜图像的质量很关键。消化内镜的视频图像帧在未处理之前图像周围包含内镜型号，图像尺寸，当前模式等信息，这些信息所在区域对于图像的处理和训练属于无效区域，会对图像的处理和训练产生不同程度的干扰，需要将无效区域去掉，只提取有效信息区域。

专利CN110613417A中提到对图像进行有效区域裁剪处理，得到被裁剪的图像。对图像进行有效区域裁剪的方法目前有两种，一种是直接给定裁剪区域的坐标范围，根据坐标范围来裁剪，此种方法不具备适应性，只能用在裁剪区域固定的情况下，具有很强的局限性；另一种方法是通过Sobel、Canny等边缘检测算法得到有效区域的轮廓，在根据轮廓来裁剪有效区域，此种方法具有一定的适应性，但是参数的设置具有局限性，不同的参数设置会裁剪出不同的区域，对图片的亮度，色彩等具有一定的要求。消化内镜图像包含各种不同型号，不同光源类型，不同的消化道类型的图像，图像的色彩、形状、明亮等变化较大。采用上述两种方法只能用在特定的型号、场景、图像等，具有很强的局限性。为此，我们提出基于深度学习的消化内镜视频帧有效信息区域提取方法。

发明内容

基于背景技术存在的技术问题，本发明提供一种基于深度学习的消化内镜视频帧的有效信息区域提取方法，用于在消化内镜的检查过程中对消化内镜图像进行实时提取有效信息区域处理，将去除无效区域的图像用于后续的图像处理操作，可以很好地提高后续图像处理的能力，提高消化内镜的检查质量。

本发明提供如下技术方案：基于深度学习的消化内镜视频帧有效信息区域提取方法，包括如下步骤：

S1、收集消化内镜检查视频片段并标注有效信息区域，根据标注文件对每张图片生成对应的黑白掩膜图；

S2、构建智能裁边模型；

S3、利用消化内镜的图片和对应的黑白掩膜图作为训练样本，对智能裁边模型进行训练，得到智能裁边模型的权重参数，用于后续计算有效信息区域；

S4、获取消化内镜检查的实时视频，将视频解帧为图片，缓存当前帧的图像；

S5、加载已经训练好的智能裁边模型的网络模型及对应的权重参数，将当前帧内镜图像通过该网络模型输出为整张图的是否有效信息区域的概率分布图，根据概率分布图计算得到该帧图像的有效信息区域；