[发明专利]一种实时匹配的手术场景增强现实投射方法

说明书

技术领域

本发明属于增强现实(AR)应用技术领域，涉及一种实时匹配的手术场景增强现实投射方法。

背景技术

随着计算机技术和影像学技术的发展，利用术前患者影像的重建图像可以更加准确且直观地显示出患者的解剖结构和疾病的病理生理变化。进一步地，将这些患者特异性的影像投射于手术区域，来引导手术进程，保证手术安全成为新兴的技术应用。为解决上述问题,中国专利201010585237.2号便公开了一种“医学手术导航方法”。该发明提供了一种医学手术导航方法，包括：第一步骤，用于对医学图像进行三维重建以得到虚拟模型；第二步骤，用于通过增强现实技术将所述虚拟模型与病人身体部位融合，以便在融合状态下实现对医学手术的导航作用。根据本发明的医学手术导航方法使得外科医生能够获取更加准确且直观的病人身体信息。在该技术方案中，医学手术导航包括：对医学图像进行三维重建得到虚拟模型和虚拟模型与病人身体融合两部分。其存在以下难点：1、医学图像的三维重建难题。现有的医学图像软件进行自动三维重建多用于骨骼系统或血管增强的组织，而用于腹部等软组织结构则没有好的算法解决，多需要依赖人工的判别和描绘。2、虚拟模型与病人实体的定位难题。由于手术中病人或病人的器官处于运动的状态，给图像与实体的自动融合匹配造成困难。较大的误差不仅不能使用户从感官上相信虚拟物体在真实环境中的存在性及其一体性。3、图像的投射问题。手术中医生的头部运动经常会遮挡图像，如何利用投射图像进行引导又不造成手术者的负担是有待解决。

发明内容

本发明的目的在于针对现有技术的不足，提供一种实时匹配的手术场景增强现实投射方法。

本发明的目的是通过以下技术方案实现的：一种实时匹配的手术场景增强现实投射方法，该方法包括：根据CT图像进行三维重建，得到虚拟3D模型；通过红外摄像机获得手术病人的红外图像，并将其与虚拟3D模型的冠状面图像(从人体的前面往后面看)进行融合；同时对手术病人的体位信息进行实时跟踪，最后根据体位信息，通过投影仪将融合图像投射在病人体表。

进一步地,所述图像融合方法如下：

(1)根据虚拟3D模型获得冠状面图像的灰度图；采用全局阈值分割法对灰度图进行分割，提取前景图像；

(2)对红外摄像机实时采集的红外图像，采用基于仿射传播聚类的视频关键帧提取方法，获取关键帧图像。采用全局阈值分割法对关键帧图像的灰度图进行分割，提取前景图像；

(3)将步骤1和2获得的前景图像进行融合。

进一步地,根据体位信息，通过投影仪将融合图像投射在病人体表，具体为：

(1)通过训练,获得红外摄像机和投影仪位置相对于病人位置的变化矩阵T；

(2)对红外摄像机实时采集的红外图像，采用基于仿射传播聚类的视频关键帧提取方法，获取关键帧图像。采用全局阈值分割法对关键帧图像的灰度图进行分割，获得前景图像中各个像素点的坐标(x_u,y_u)；

(3)根据像素点坐标以及变换矩阵T，调整投影仪的位置，将融合图像投射在病人体表。

本发明的有益效果在于：本发明的快速CT图像三维重建算法可实现CT图像的快速自动重建，为实时引导提供图像基础。由于本发明的红外线反射摄像头可以捕捉到病人器官的运动，使得投射图像具有实时的跟踪功能，为手术提供实时的指引。计算机的定位融合模块，可解决因手术中变化位置等因素的干扰和影像，保证了叠合图像的稳定性和可靠性。

附图说明

图1是本发明的技术路线图。

图2是本发明的实时手术区域跟踪识别过程图。

图3是本发明的投射构造图。

图4为投射效果图。

具体实施方式

下面结合附图和实施方式对本发明进一步说明。

本发明提供一种实时匹配的手术场景增强现实投射方法，该方法包括：根据CT图像进行三维重建，得到虚拟3D模型；通过红外摄像机获得手术病人的红外图像，并将其与虚拟3D模型的冠状面图像进行融合；同时对手术病人的体位信息进行实时跟踪，最后根据体位信息，通过投影仪将融合图像投射在病人体表。