[发明专利]一种双目内窥镜软组织图像的在线三维重建方法

说明书

本发明公开了一种双目内窥镜软组织图像的在线三维重建方法，先根据当前采集到的最近一段时间内的双目内窥镜软组织图像序列对深度神经网络模型进行训练并进行在线调整，再利用调整好的深度神经网络模型估计后续帧的双目内窥镜软组织图像的视差，然后通过视差和相机参数得到内窥镜图像像素点的三维空间坐标，从而获得目标区域的三维形态坐标，完成三维图像的在线重建；最后又通过后续帧图像间隔的更新深度神经网络模型，确保重建精度。

技术领域

本发明属于图像处理技术领域，更为具体地讲，涉及一种双目内窥镜软组织图像的在线三维重建方法。

背景技术

传统的开胸手术方式需要剖开胸腔，锯断胸骨，对患者的呼吸功能产生巨大影响。由于胸骨切口张力较高，使得体质较差的患者，术后恢复十分困难。如今，微创手术方式不仅能够降低手术的风险，更能减少病人治疗的痛苦。内窥镜是微创手术中重要的信号采集方式，医生不再需要开胸，仅需在胸壁上打3个小孔，分别放置胸腔镜成像装置、超声波手术刀以及手术废弃物吸收装置对病人进行手术，这样减少了病人的创伤和痛苦，也缩短了术后的康复时间。

近年来，内窥镜手术越来越多地应用于心脏外科手术。然而传统内窥镜无法产生直观的三维形态信息，只有经过长期培训的医师才能熟练地利用其进行关键部位的手术。现有内窥镜在使用过程中缺少图像深度感，容易导致医生在手术过程中对重要的解剖结构及其相对的位置产生视觉上的误判，或者致使医生难以准确地判断进刀位置的深浅而操作失误。

为了给手术医生提供准确、实时的三维形态信息，国内外学者尝试通过内窥镜获取的立体图像，对立体图像进行三维重建以获得目标区域表面的三维形态。这种方法可以解决无法植入大型三维扫描设备到微创手术空间的问题。这种三维重建方法主要通过相机标定、立体校正、立体匹配来得到图像像素点的三维空间信息，从而重建出目标区域的三维形态。为此，国内外研究人员利用多种经典的空间形变模型对目标区域进行三维重构。例如W.Lau等在文献《Stereo-based endoscopic tracking of cardiac surfacedeformation》中使用的B样条模型，D.Stoyanov等在文献《A practical approach towardsaccurate dense 3-D depth recovery for robotic laparoscopic surgery》中使用的分片双线性映射模型，以及R.Richa等在文献《Threedimensional motion tracking forbeating heart surgery using a thin-plate spline deformable model》中使用的薄板样条模型等。然而上述模型通常较为复杂，很难实时应用。而利用一些简单的形变模型虽然可以满足实时性要求，但难以准确描述目标区域的形变从而难以获得精确的三维重建结果。