[发明专利]基于深度学习的消化内镜视频帧有效信息区域提取方法

权利要求书

1.基于深度学习的消化内镜视频帧有效信息区域提取方法，其特征在于：包括如下步骤：

S1、收集消化内镜检查视频片段并标注有效信息区域，根据标注文件对每张图片生成对应的黑白掩膜图；

S2、构建智能裁边模型；

S3、利用消化内镜的图片和对应的黑白掩膜图作为训练样本，对智能裁边模型进行训练，得到智能裁边模型的权重参数，用于后续计算有效信息区域；

S4、获取消化内镜检查的实时视频，将视频解帧为图片，缓存当前帧的图像；

S5、加载已经训练好的智能裁边模型的网络模型及对应的权重参数，将当前帧内镜图像通过该网络模型输出为整张图的是否有效信息区域的概率分布图，根据概率分布图计算得到该帧图像的有效信息区域；

S6、计算得到的有效信息区域范围对当前帧图像进行处理，提取该帧图像的有效信息区域，最终生成一张只包含有效信息区域的视频帧图像。

2.根据权利要求1所述的基于深度学习的消化内镜视频帧有效信息区域提取方法，其特征在于：所述步骤S1中收集不同型号，不同光源，不同消化道类型的消化内镜检查视频片段作为训练集。

3.根据权利要求1或2所述的基于深度学习的消化内镜视频帧有效信息区域提取方法，其特征在于：所述步骤S1中将视频片段解帧为图片，对每帧图像的有效信息区域进行人工标注。

4.根据权利要求3所述的基于深度学习的消化内镜视频帧有效信息区域提取方法，其特征在于：所述步骤S1中将图片尺寸进行压缩，并通过补黑边的方式保持长宽比例不变。

5.根据权利要求1所述的基于深度学习的消化内镜视频帧有效信息区域提取方法，其特征在于：所述步骤S2中构建智能裁边模型是对称的编码-解码结构，解码结构和编码结构分别由卷积模块组成。

6.根据权利要求5所述的基于深度学习的消化内镜视频帧有效信息区域提取方法，其特征在于：所述编码结构为下采样，用于接收输入并输出特征向量的网络；所述解码结构为上采样，用于从编码结构中获取特征向量，输出与预期输出最近似的结果。

7.根据权利要求1所述的基于深度学习的消化内镜视频帧有效信息区域提取方法，其特征在于：所述智能裁边模型根据损失函数进行训练，损失函数为：

其中N表示样本数，y_i表示像素的真实标签，y_i＝0表示该像素为无效区域，y_i＝1表示该像素为有效信息区域；表示网络模型预测该像素的概率值，取值范围为

8.根据权利要求1或7所述的基于深度学习的消化内镜视频帧有效信息区域提取方法，其特征在于：所述步骤S5中利用概率分布图计算得到图片的有效信息区域的掩膜图，其公式为：

其中mask(i，j)为生成的掩膜图在(i，j)位置处的像素值p(i，j)，为概率分布图在(i，j)位置处的概率值，i，j分别为图像矩阵的第i行，第j列。

9.根据权利要求1所述的基于深度学习的消化内镜视频帧有效信息区域提取方法，其特征在于：所述步骤S7中根据不规则形状的有效图像区域，取其外接矩形，最终生成只包含有效信息区域的图像。