[发明专利]基于孪生网络的胶囊内窥镜视频图像冗余帧去除的方法

权利要求书

1.一种基于孪生网络的胶囊内窥镜视频图像冗余帧去除的方法，其特征是包括以下步骤：

S1、选取连续的三帧图像，利用孪生网络模型获取每帧图像的特征图；

还包括孪生网络模型的训练步骤：

S01、在孪生网络模型的训练数据集中，选择一张胶囊内窥镜图片作为锚样本，再选择一张与锚样本相似的图片作为正样本和一张与锚样本不相似的图片作为负样本；

S02、使用ResNet-50模型提取步骤S01中选择的三张胶囊内窥镜图像特征；

S03，计算锚样本与正样本之间的欧式距离和锚样本与负样本之间的欧式距离；

S04，利用逻辑回归算法判定锚样本与正样本和锚样本与负样本之间的相似性；

通过以上步骤得到孪生网络模型；

S2、计算各个特征图之间的欧式距离；

S3、利用逻辑回归模型根据欧式距离判断图像之间的相似性，从相似的图像中仅保留一张，或者保留不相似的图像；

设w张胶囊内窥镜视频图像序列为V：{V₀，V₁，V₂，...，V_w-1}，去冗余帧后的胶囊内窥镜视频图像序列为V′：{V′₀，V′₁，V′₂，...}，具体流程如下：

S11、选取连续的三帧胶囊内窥镜图像{V_i，V_i+1，V_i+2}，得到每帧胶囊内窥镜的特征图F′：{F′_i，F′_i+1，F′_i+2}，初始i＝0；

S12、计算F′_i与F′_i+1的欧式距离和F′_i+1与F′_i+2的欧式距离D′：{D′(F′_i，F′_i+1)，D′(F′_i+1，F′_i+2)}；

S13、将D′：{D′(F′_i，F′_i+1)，D′(F′_i+1，F′_i+2)}输入训练好的逻辑回归模型中判定图片的相似性Y，：{g(D′(F′_i，F′_i+1))，g(D′(F′_i+1，F′_i+2))}，得到3种相似性的情况Y′∈{Y′₀，Y′₁，Y′₂}；

其中，Y′₀＝{1，1}表示选取的3张内窥镜图像中V_i与V_i+1相似、V_i+1与V_i+2相似，Y′₁＝{0，1}表示选取的3张内窥镜图像中V_i与V_i+1不相似、V_i+1与V_i+2相似，Y′₂＝{1，0}表示选取的3张内窥镜图像中V_i与V_i+1相似、V_i+1与V_i+2不相似；

根据Y′的3种情况(Y′₀，Y′₁，Y′₂)，得到以下3种的去冗余帧的方法：

其中，B₀＝{V_i}表示选取的3张内窥镜图像中当V_i与V_i+1相似、V_i+1与V_i+2相似时，去除V_i+1与V_i+2，保留V_i；B₁＝{V_i，V_i+1}表示选取的3张内窥镜图像中当V_i与V_i+1不相似，V_i+1与V_i+2相似时，去除V_i+2，保留V_i与V_i+1；B₂＝{V_i，V_i+2}表示选取的3张内窥镜图像中当V_i与V_i+1相似、V_i+1与V_i+2不相似时，去除V_i+1，保留V_i与V_i+2；

S4、从去除冗余后的图像中选择帧数在后的图像和新的连续帧图像，执行步骤S1～S3；

还包括以下步骤：

S21、判断此时是否处理结束，即i+2是小于w-1还是等于w-1；若(i+2)＜(w-1)，则表示未处理结束，跳转至步骤S22；

若(i+2)＝(w-1)，则表示处理结束，跳转至S23；

S22、根据步骤S13中的3种的去冗余帧的方法，来选取新一轮的三张内窥镜图像；

选取规则为：若去冗余输出为B₀＝{V_i}，则将图像V_i放入去冗余帧后的胶囊内窥镜视频图像序列V′中，并选取图像V_i、图像V_i+3和图像V_i+4作为新一轮的三张内窥镜图像；若去冗余输出为B₁＝{V_i，V_i+1}，将图像V_i和V_i+1放入去冗余帧的胶囊内窥镜视频图像序列V′中，并选取图像V_i+1、图像V_i+3和图像V_i+4作为新一轮的三张内窥镜图像；若去冗余输出为B₂＝{V_i，V_i+2}，则将图像V_i和V_i+2放入去冗余帧的胶囊内窥镜视频图像序列V′中，并选取图像V_i+2、图像V_i+3和图像V_i+4作为新一轮的三张内窥镜图像；

将选取的新一轮三张内窥镜图像重复步骤s21～s22；

S23、处理结束，生成去冗余帧后的胶囊内窥镜视频图像序列V′：{V′₀，V′₁，V′₂，...}；

通过以上步骤实现将胶囊内窥镜视频图像冗余帧删除。