[发明专利]基于视频叠加的增强现实手术导航方法、系统及电子设备

说明书

本发明公开了一种基于视频叠加的增强现实手术导航方法、系统及电子设备，该方法包括：获取目标组织器官的术前三维解剖模型；根据术中立体腹腔镜所采集的腹腔镜视频信息，构建目标组织器官表面的点云数据；对术前三维模型和点云数据进行配准，根据配准结果，得到术前三维解剖模型和当前腹腔镜视图对应的点云数据的目标变换关系；根据目标变换关系，将术前三维解剖模型通过增强现实技术叠加显示在腹腔镜视图上。由此，无需人工手动介入，可实现完全自动化的非刚性配准，同时无需任何标记点和外部跟踪设备，可在标准临床手术过程中，完成对术中视野的增强现实显示，并通过图像跟踪技术完成对整个手术过程的实时导航，实现对医生术中的图像引导。

技术领域

本发明涉及微创外科手术技术领域，尤其涉及一种基于视频叠加的增强现实手术导航方法、系统及电子设备。

背景技术

腔镜微创手术已经成为软组织器官治疗的主要术式，如肾肿瘤部分切除术、肝肿瘤部分切除术、胰十二指肠切除术等。然而，微创手术和腹腔镜下有限的手术环境感知和手术时间限制等，使手术对医生的经验和技巧有很高要求。增强现实手术导航可以有效缓解医生术中环境感知有限的问题，为医生提供手术引导，成为近些年的研究热点。

相关技术中，基于视频叠加的增强现实手术导航技术是当前腹腔镜增强现实导航的主要形式。实现方式主要是从患者CT/MRI医学图像中重建出目标组织器官的解剖结构模型，通过图像配准技术实现解剖结构模型与术中腹腔镜图像的配准，最后通过增强现实显示技术完成对术中场景的增强显示，实现图像引导。其中，配准可大体分为基于点的配准和基于面的配准两种方式。

但是，目前存在的问题是：基于点的配准的手术导航系统方式往往需要人工干预完成，这打断了正常的手术流程，分散了医生的注意力并增加了并发症的风险，而植入标记点的配准方式对人体有侵略性，临床应用困难，且该系统往往需要额外的跟踪设备；基于面的配准的手术导航方式需要进行术中组织形态测量，获取术中目标组织的表面信息，而术中腹腔镜成像环境复杂(烟雾、反光等)造成获取术中目标组织器官的密集重建结果困难。同时，由于术中有限的腹腔镜视野，目标组织表面重建面积小，自动配准难以实现，当前公开的腹腔镜增强现实导航系统大部分为手动配准或半自动配准完成，其中，半自动配准系统指需要人工干预完成初始配准的导航系统。此外，由于腹腔的特殊性，软组织器官存在术中变形，而相关技术中的手术导航系统多忽略了软组织的变形，所提供的手术导航系统不能对软组织的变形进行补偿而导致导航精度差。

发明内容

本发明的目的旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于视频叠加的增强现实的手术导航方法，该方法无需人工手动介入，可实现完全自动化的配准过程，并通过引入非刚性配准算法，实现了变形配准功能，同时无需任何标记点和外部跟踪设备，可在标准临床手术过程中，完成对术中视野的增强现实显示，并通过图像跟踪技术完成对整个手术过程的实时导航，实现对医生术中的图像引导。

本发明的第二个目的在于提出一种基于视频叠加的增强现实的手术导航系统。

本发明的第三个目的在于提出一种电子设备。

本发明的第四个目的在于提出一种非临时性计算机可读存储介质。