[发明专利]一种基于DNN深度学习的腔镜下微创手术自动标注的方法及装置

权利要求书

1.一种基于DNN深度学习的腔镜下微创手术自动标注的方法和装置，其特征在于，包括以下步骤：

步骤1：通过CSI接口从内窥镜摄像获取手术视频流

步骤2：从手术视频流或文件中自动提取关键帧图像；

步骤3：对关键帧图像中的目标物体进行标注并生成相应的图像数据集；

步骤4：构建基于YOLO框架的深度神经网络用于初始的自动标注模型；

步骤5：利用标注的图像训练集对初始自动标注模型进行训练，得到优化的网络模型；

步骤6：利用得到的网络模型对内窥镜手术视频进行预测，同时获得新的数据集；

如此循环，不断迭代、优化网络，最终得到优化的用于内窥镜手术视频的自动标注模型。

2.根据权利要求1所述的一种基于DNN深度学习的腔镜下微创手术自动标注的方法，其特征在于，通过CSI接口和边缘HPC设备获取来自内窥镜摄像的视频图像。

3.根据权利要求1所述的一种基于DNN深度学习的腔镜下微创手术自动标注的方法，其特征在于，根据触发的时间戳快照(SnapShots)和预设程序(ConfiguredProgram)从内窥镜手术视频中自动提取关键帧(KeyFrames)和关键手术视频片段(MovieAroundSnapshots)。

4.根据权利要求1所述的一种基于DNN深度学习的腔镜下微创手术自动标注的方法，其特征在于，对图像中的目标物体进行标注并生成相应的数据集，包括：

使用标注工具软件对图像上的目标物进行标注，具体为矩形框标定；

标注保存后输出为YOLO-V3格式标记文件，YOLO-V3格式下TXT文本标注格式包括对象的类型以及矩形框左上角和右下角的坐标值。

5.根据权利要求1所述的一种基于DNN深度学习的腔镜下微创手术自动标注的方法，其特征在于，基于DarkNet的深度神经网络模型。

6.一种基于DNN深度学习的腔镜下微创手术自动标注的装置，其特征在于，包括：

图像获取设备，包含边缘HPC(高性能计算机)、内窥镜摄像信号接口(CSI)及转接线，用于获取待检测的影像；

处理器，包含GPU和CPU，分别与所述图像获取设备和所述存储器连接，其用于运行所述非暂态软件程序或指令，对所述医学影像进行检测和特征提取。

存储单元，用于存储与权利要求1-6任一项所述的最终用于内窥镜视频图像自动标注模型对应的非暂态软件程序或指令。