[发明专利]一种无线胶囊内窥镜病灶自动检测方法、装置及存储介质

权利要求书

1.一种无线胶囊内窥镜病灶自动检测方法，其特征在于，包括以下步骤：

S1、获取无线胶囊采集的视频文件，将所述视频文件转换为带有时间戳的图像序列，并对所述带有时间戳的图像序列进行关键帧识别，获取专家对于关键帧的标注结果，并采用自动跟踪的方法获取非关键帧的标注结果，从而得到标注后的数据集；

S2、将标注后的数据集作为训练数据训练病灶检测模型，获取待检测无线胶囊内窥镜视频，基于训练完成的病灶检测模型对待检测无线胶囊内窥镜视频进行病灶检测，得到的病灶检测结果包括所有带病灶图像的时间戳、病灶位置、病灶类别和置信度，所述置信度表示带病灶图像属于对应病灶类别的概率；

S3、根据所述待检测无线胶囊内窥镜视频的病灶检测结果，将所有带病灶图像按置信度从小到大排序，将置信度小于一定阈值范围的图像作为“难例”样本，获取专家对于“难例”样本的修正结果，得到“漏检”的病灶信息和“误检”的病灶信息，进而生成“漏检库”和“误检库”，同时基于专家对于“难例”样本的修正结果对所述病灶检测模型进行主动学习；

S4、对所述“漏检库”和“误检库”中的数据进行合成处理，从而生成新的合成数据集，基于所述合成数据集对所述病灶检测模型进行迭代优化，从而微调病灶检测模型权重。

2.根据权利要求1所述的一种无线胶囊内窥镜病灶自动检测方法，其特征在于，S1中将所述视频文件转换为带有时间戳的图像序列，包括：

S111、按预设的视频帧计数间隔频率将视频转换成图像；

S112、基于OCR技术自动提取图像中的拍摄时间，从而得到带时间戳的图像序列。

3.根据权利要求1所述的一种无线胶囊内窥镜病灶自动检测方法，其特征在于，S1中对所述带有时间戳的图像序列进行关键帧识别，包括：

S121、对所述带有时间戳的图像序列中的每帧图像进行特征提取，从而获得图像特征；

S122、基于所述图像特征计算相邻两帧图像特征的相似度，当相似度小于设定阈值时，则将当前帧图像作为关键帧；否则，将当前帧图像作为前一个关键帧的相似帧，移到下一帧；

S123、重复执行相似度计算和比较步骤，直至遍历整个图像序列，从而获得关键帧和相似区间序列。

4.根据权利要求3所述的一种无线胶囊内窥镜病灶自动检测方法，其特征在于，S1中采用自动跟踪的方法获取非关键帧的标注结果，包括：

S131、基于专家对于关键帧的标注结果，筛选出带病灶的关键帧；

S132、针对每个带病灶的关键帧，采用目标跟踪算法，在相似区间序列中自动匹配关键帧的所有病灶区域，从而实现所有相似区间的病灶自动标注。

5.根据权利要求1所述的一种无线胶囊内窥镜病灶自动检测方法，其特征在于，S2中基于训练好的病灶检测模型对取待检测无线胶囊内窥镜视频进行病灶检测，包括：

S211、将所述待检测无线胶囊内窥镜视频按照S1中所述方式转换为带有时间戳的待检测图像序列；

S212、加载训练好的病灶检测模型，对所述待检测图像序列中的所有图像进行病灶检测，然后输出仅带有病灶图像的检测结果作为待检测无线胶囊内窥镜视频的病灶检测结果，所述带病灶图像的检测结果包括图像时间戳、病灶位置、病灶类别和置信度。

6.根据权利要求1所述的一种无线胶囊内窥镜病灶自动检测方法，其特征在于，S3中获取专家对于“难例”样本的修正结果，得到“漏检”的病灶信息和“误检”的病灶信息，进而生成“漏检库”和“误检库”，包括：

S311、提取“漏检”的病灶信息，按病灶位置坐标将图像对应区域进行裁剪存入“漏检库”，所述“漏检”的病灶信息包括由专家人工标注的病灶位置和病灶类别；

S312、提取“误检”的病灶信息，按病灶位置坐标将图像对应区域进行裁剪存入“误检库”，所述“误检”的病灶信息包括由病灶检测模型预测出的病灶位置。