[发明专利]增强现实手术图像的生成方法、装置、设备及存储介质

说明书

本发明适用图像处理技术领域，提供了一种增强现实手术图像的生成方法、装置、设备及存储介质，该方法包括：通过摄像头采集手术场景的场景图像，对场景图像进行配准，通过摄像头获取手术场景中内窥镜的位置，并获取内窥镜采集的内窥镜图像，根据内窥镜的位置，对内窥镜图像和预先构建的三维CT图像进行配准，生成内窥镜图像与三维CT图像的配准图像，通过增强现实显示设备对配准图像和配准的场景图像进行显示输出，以获得相应的增强现实手术图像，从而通过增强现实手术图像对医生进行手术引导，使得医生可以通过增强现实手术图像同时观察到手术的内外场景，并为医生提供透视视角，进而提高了手术的效率和安全程度。

技术领域

本发明属于图像处理技术领域，尤其涉及一种增强现实手术图像的生成方法、装置、设备及存储介质。

背景技术

传统外科手术必须切断很多健康的组织层才能达到目标组织，对健康组织造成了严重的破坏。为了降低开销同时又解除患者的创伤，传统的外科开刀手术正被微创手术所替代，比如图像引导外科手术系统，它的目标在于通过整合医学图像和其他信息源，如跟踪仪器，增强并补充医生对于骨骼空间结构的理解能力。

图像引导外科手术中医生能够通过利用医学成像技术降低外科手术过程中的创伤，并提高准确性和安全性。然而，现有的图像引导手术系统存在一些问题。首先医生不得不把目光从患者身上移到显示屏上，这就破坏了医生的手眼协调，其次医生不能在显示屏上看到患者，降低了外科手术的安全性，最重要的是，图像引导手术只能增加人眼所不能达到的视觉范围与精度，并不能提供额外的“透视”表层的能力。

发明内容

本发明的目的在于提供一种增强现实手术图像的生成方法、装置、设备及存储介质，旨在解决由于现有技术中通过手术图像引导外科手术时，医生的视线需要在显示屏和患者之间往复移动，也无法为医生提供透视视角，导致手术的效率和安全程度不高的问题。

一方面，本发明提供了一种增强现实手术图像的生成方法，所述方法包括下述步骤：

通过摄像头采集手术场景的场景图像，对所述场景图像进行配准；

通过所述摄像头获取所述手术场景中内窥镜的位置，并获取所述内窥镜采集的内窥镜图像；

根据所述内窥镜的位置，对所述内窥镜图像和预先构建的三维CT图像进行配准，生成所述内窥镜图像与所述三维CT图像的配准图像；

通过增强现实显示设备对所述配准图像和配准的所述场景图像进行显示输出，以获得相应的增强现实手术图像。

另一方面，本发明提供了一种增强现实手术图像的生成装置，所述装置包括：

外部图像配准单元，用于通过摄像头采集手术场景的场景图像，对所述场景图像进行配准；

内窥镜图像获取单元，用于通过所述摄像头获取所述手术场景中内窥镜的位置，并获取所述内窥镜采集的内窥镜图像；

内部图像配准单元，用于根据所述内窥镜的位置，对所述内窥镜图像和预先构建的三维CT图像进行配准，生成所述内窥镜图像与所述三维CT图像的配准图像；以及

显示输出单元，用于通过增强现实显示设备对所述配准图像和配准的所述场景图像进行显示输出，以获得相应的增强现实手术图像。

另一方面，本发明还提供了一种图像处理设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述增强现实手术图像的生成方法所述的步骤。

另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述增强现实手术图像的生成方法所述的步骤。