[发明专利]一种内镜下自动识别活检部位及活检数量的方法及系统

说明书

本发明公开了一种内镜下自动识别活检部位及活检数量的方法及系统，所述方法包括以下步骤：获取内镜检查过程中实时采集的视频帧；基于预先训练的活检钳检测模型，逐帧检测是否存在活检钳；若存在活检钳，基于预先训练的内镜部位识别模型，确定当前取活检的内镜部位；同时，开始对活检钳进行跟踪，得到包含所述活检钳的连续视频片段，根据预先训练的取活检动作识别模型，确定是否进行取活检。本发明可以准确检测和跟踪活检钳并确定取活检部位，同时精确推断取活检场景并统计取活检次数，为规范的病理报告提供了保障。

技术领域

本发明属于人工智能技术领域，尤其涉及一种内镜下自动识别活检部位及活检数量的方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

内镜活检是目前消化系统疾病早期诊治不可缺少的手段，内镜检查过程中发现可疑病变时，为了明确病变的性质、分布范围以及程度，往往需要在胃肠道黏膜多个部位进行多块活检，其不仅为疾病诊断提供线索，还能了解疾病发展趋势判断预后。

根据活检申请规范化书写要求，内镜医师应向病理医师准确提供送检标本的部位、数量及内镜所见，目前对于活检部位及块数均为人工统计并记录，不仅存在易混淆取材部位等风险，还增加内镜医师的负担。

发明内容

为克服上述现有技术的不足，本发明提供了一种判断消化内窥镜检查是否染色的方法及系统。能够准确的自动记录取活检部位和数量，有助于自动化诊疗报告的生成及内镜疾病诊断结果的准确分析。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

一种内镜下自动识别活检部位及活检数量的方法，包括以下步骤：

获取内镜检查过程中实时采集的视频帧；

基于预先训练的活检钳检测模型，逐帧检测是否存在活检钳；

若存在活检钳，基于预先训练的内镜部位识别模型，确定当前取活检的内镜部位；同时，开始对活检钳进行跟踪，得到包含所述活检钳的连续视频片段，根据预先训练的取活检动作识别模型，确定是否进行取活检。

进一步地，所述方法还包括：记录所述内镜检查的部位和各部位对应的取活检次数。

进一步地，所述活检钳检测模型和内镜部位识别模型均采用卷积神经网络进行训练。

进一步地，所述取活检动作识别模型采用3D卷积神经网络进行训练。

进一步地，所述对活检钳进行跟踪采用活检钳检测模型；获取活检钳一直存在或活检钳消失的时间小于k帧的连续视频帧，基于该视频帧进行取活检动作识别。

一个或多个实施例提供了一种内镜下自动识别活检部位及活检数量的系统，包括：

图像获取模块，获取内镜检查过程中实时采集的视频帧；

活检钳检测模块，基于预先训练的活检钳检测模型，逐帧检测是否存在活检钳；

活检部位识别模块，用于在存在活检钳时，基于预先训练的内镜部位识别模型，确定当前取活检的内镜部位；

取活检动作识别模块，用于在存在活检钳时，对活检钳进行跟踪，得到包含所述活检钳的连续视频片段，根据预先训练的取活检动作识别模型，确定是否进行取活检。

一个或多个实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述内镜下自动识别活检部位及活检数量的方法。

一个或多个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述内镜下自动识别活检部位及活检数量的方法。