[发明专利]一种基于DNN深度学习的腔镜下微创手术自动标注的方法及装置

说明书

本发明涉及腔镜下微创手术视频图像处理领域，公开了一种基于DNN深度学习的腔镜下微创手术自动标注的方法及装置，方法包括：从手术内窥镜摄像自动提取关键帧；通过对少量样本的标注得到带标注的图像训练集；利用得到的训练集对预先构建的深度神经网络模型进行训练，得到改进的网络模型；再利用改进的网络模型预测手术视频图像帧，生成新的数据集；如此循环，不断迭代、最终得到优化的网络模型。本发明能够自动标注腔镜下微创手术视频，不仅大大减轻了人工标注的繁重任务，而且大幅提升标注效率、标注质量和训练效率。

技术领域

本发明涉及微创手术影像领域，更具体的说是腔镜下微创手术视频图像处 理，涉及一种基于DNN深度学习的腔镜下微创手术自动标注的方法及装置。

背景技术

随着现代化微创手术的普及，术中影像尤其是内窥镜影像对于外科医生 (术者)至关重要，针对腔镜下微创手术视频的回顾性分析对于提高手术安全 性和效率具有巨大价值，人工智能在实施精准微创手术方面具有广袤的前景。 虽然现代化微创手术产生海量手术数据，然而机器学习需要大量经过标注的数 据集，通过人力手工标注显然不现实，不仅效率低、成本高，而且精度低、质 量不一，而有些标注必须由医学背景的专业人员来完成。因此，如何提供一种 能够快速精准地对大量手术视频进行自动化标注的方法是本领域技术人员亟需 解决的问题。

发明内容

有鉴于此，本发明提供了一种基于DNN深度学习的腔镜下微创手术自动标 注的方法及装置，能够用初始的深度神经网络对手术视频的帧图像进行预测， 将预测结果以YOLO数据集格式保存，随后将数据集打乱并划分为训练集、验 证集。最后利用新的数据集使模型进行迁移学习，如此循环，不断迭代、优化 网络模型，使得标注更加高效、精准。

为了实现上述目的，本发明采用如下技术方案：

基于DNN深度学习的用于腔镜下微创手术自动标注的方法，包括：

通过CSI接口采集内窥镜摄像单元输出的手术视频流；

从内窥镜摄像视频流或手术视频文件中自动提取关键帧图像；

对图像中的目标物体进行标注并生成相应的数据集；

构建基于基于YOLO算法框架的深度神经网络；

用标注的图像训练集对该神经网络模型进行训练，得到初始自动标注模 型；

利用初始自动标注模型对手术视频图像帧逐帧预测，将预测结果以YOLO 数据集格式保存；

利用新的数据集继续训练模型，对YOLO网络中各模块参数进行修正，不 断迭代，优化网络，得到最终用于腔镜下微创手术自动标注模型；

优选的，在上述一种基于DNN深度学习的腔镜下微创手术自动标注的方法 中，所述医学影像通过内窥镜摄像及CSI接口输入且包含目标的特征。

优选的，在上述一种基于DNN深度学习的腔镜下微创手术自动标注的方法 中，所述自动获取初始关键帧图像，并对图像中的目标物体进行标注并生成相 应的数据集，包括：

根据触发的时间戳快照(SnapShots)和预设程序(ConfiguredProgram)从内 窥镜手术视频中自动提取关键帧(KeyFrames)和关键手术视频片段 (MovieAroundSnapshots)。

采用批处理程序从视频文件中每间隔一定帧数提取一定数量的图像；

用标注工具软件对图像上的目标物进行标定；

保存后输出YOLO格式标记文件。

优选的，在上述一种基于DNN深度学习的腔镜下微创手术自动标注的方法 中，所述YOLO格式下TXT标注文件，包括：

对象的类别；