[发明专利]图像融合系统、方法、装置、设备及存储介质

说明书

本发明实施例提供一种图像融合系统、方法、装置、设备及存储介质，其中系统包括：成像模块、图像处理模块以及显示模块，成像模块包括用于采集第一波段的光的多目相机以及用于采集第二波段的光的第二相机，多目相机包括若干第一相机，所述若干第一相机为两个或两个以上第一相机，图像处理模块用于根据若干第一相机采集到的图像，进行三维重构，生成三维图像，对生成的三维图像以及第二相机采集到的图像进行融合，得到融合后的图像，显示模块用于显示下述至少一项：三维图像、第二相机采集到的图像、融合后的图像，可以准确匹配第二相机采集到的图像在生成的图像中的位置，提高图像的融合精度，为手术提供精准的导航影像。

技术领域

本发明涉及成像领域，尤其涉及一种图像融合系统、方法、装置、设备及存储介质。

背景技术

荧光分子影像手术导航系统可以通过对人体注射荧光造影剂使其聚集在病变器官肿瘤处，利用造影剂荧光显影技术实现肿瘤定位、形态获取以及病变器官的图像采集，并将肿瘤图像与病变器官图像进行融合，通过显示器显示出融合图像，帮助医生进行肿瘤切除手术。

现有技术中，通过一台红外相机和一台可见光相机分别采集病变部位的图像进行融合显示。但是红外相机和可见光相机采集到的像素视野、使用的镜头不同、采集到的图像深度不同，在图像融合时会出现融合位置的偏差，影响手术的精度。

发明内容

本发明实施例提供一种图像融合系统、方法、装置、设备及存储介质，使得图像的融合位置更为准确，为手术提供精准的导航影像。

第一方面，本发明实施例提供一种图像融合系统，所述系统包括：

成像模块、图像处理模块以及显示模块；

所述成像模块包括用于采集第一波段的光的多目相机以及用于采集第二波段的光的第二相机；

所述多目相机包括若干第一相机，所述若干第一相机为两个或两个以上第一相机；

所述图像处理模块用于根据所述若干第一相机采集到的图像，进行三维重构，生成三维图像；对生成的三维图像以及所述第二相机采集到的图像进行融合，得到融合后的图像；

所述显示模块用于显示下述至少一项：所述三维图像、所述第二相机采集到的图像、所述融合后的图像。

可选的，所述若干第一相机的视场不同，且所述若干第一相机的视场具有重叠区，所述重叠区为第一重叠区，所述第二相机的视场与所述第一重叠区具有第二重叠区，待观测物置于所述第二重叠区内。

可选的，所述第一重叠区的中心点置于所述第二相机的光轴上。

可选的，所述若干第一相机获取清晰图像的范围具有重叠范围，所述第二相机的成像面在所述重叠范围内。

可选的，所述第二相机采集到的图像为平面图像，所述平面图像为所述三维图像中垂直所述第二相机的光轴方向的一层。

可选的，所述第一波段的光为可见光，所述第一相机为可见光相机，拍摄得到的图像为可见光图像；和/或，

所述第二波段的光为红外光，所述第二相机为红外相机，拍摄得到的图像为红外图像。

可选的，所述第二波段的光为红外二区的光。

可选的，所述系统还包括：

红外激光模块，用于激发红外荧光造影剂；

相应的，所述红外相机具体用于采集通过所述红外激光模块激发荧光造影剂在肿瘤区域形成的红外光。

可选的，所述成像模块中的第一相机和第二相机的光轴相互平行，所述第二相机置于所述若干第一相机的中心位置。