[发明专利]用于内窥镜和腹腔镜导航的同时场景解析和模型融合的方法和系统

摘要

公开了一种用于在腹腔镜和内窥镜2D/2.5D图像数据中进行场景解析和模型融合的方法和系统。接收包括2D图像通道和2.5D深度通道的术中图像流的当前帧。在术前3D医学图像数据中分割的目标器官的3D术前模型被融合到术中图像流的当前帧中。基于目标器官的融合术前3D模型，将来自术前3D医学图像数据的语义标签信息传播到术中图像流的当前帧中的多个像素中的每个像素，从而产生用于术中图像流的当前帧的渲染标签图。语义分类器基于用于术中图像流的当前帧的渲染标签图来训练。

主权项

一种用于在术中图像流中进行场景解析的方法，包括：接收包括2D图像通道和2.5D深度通道的术中图像流的当前帧；将在术前3D医学图像数据中分割的目标器官的3D术前模型融合到所述术中图像流的所述当前帧；基于所述目标器官的所述融合术前3D模型，将来自所述术前3D医学图像数据的语义标签信息传播到所述术中图像流的所述当前帧中的多个像素中的每个像素，从而产生所述术中图像流的所述当前帧的渲染标签图；以及基于用于所述术中图像流的所述当前帧的所述渲染标签图来训练语义分类器。