[发明专利]一种多模态图像融合系统及图像融合方法

权利要求书

1.一种多模态图像融合系统，其特征在于，包括：视频控制器、医学影像设备、双目摄像头、人体表面基准面定位模块、手持设备定位模块、显示器、触摸屏和键盘鼠标；

所述人体表面基准面定位模块包括多个定位小球，每个所述定位小球记为第一定位小球，每个所述第一定位小球用于放置在预设位置，且每个所述第一定位小球具有唯一对应的小球编码，所述预设位置为：在手术部分的人体表面，在手术设定的入口附近的位置；

所述手持设备定位模块至少包括一个定位小球，记为第二定位小球，所述第二定位小球用于放置在超声图像采集的手柄上，且每个所述第二定位小球具有唯一对应的小球编码；

所述双目摄像头用于采集包含定位小球的位置信息的小球位置图像；

所述触摸屏用于输入对手术模式的模式选择指令；

所述键盘鼠标用于输入对待融合医学图像的图像选择指令；

所述显示器用于显示多模态融合图像；

所述视频控制器分别与所述医学影像设备、所示双目摄像头、所述显示器、所述触摸屏和所示键盘鼠标连接；

所述视频控制器用于获取所述图像选择指令，从已存储的各个医学图像中，选择与所述图像选择指令对应的各个待融合医学图像，获取预处理得到的图像融合基准面，根据所述图像融合基准面上各个所述第一定位小球的相对位置，将各个待融合医学图像在所述图像融合基准面上进行融合，得到所述多模态融合图像；

其中，所述已存储的各个医学图像为：预先选择的手术模式对应的各个医学影像设备采集的医学图像；

所述图像融合基准面为对双目摄像头采集的包含所有第一定位小球在所述预设位置的小球位置图像进行处理后得到。

2.根据权利要求1所述的多模态图像融合系统，其特征在于，所述医学影像设备包括：C型臂、超声设备、内窥镜设备、显微镜设备和影像归档和通信系统PACS。

3.一种多模态图像融合方法，其特征在于，应用于权利要求1所述的视频控制器，所述融合方法包括：

获取对待融合医学图像的图像选择指令；

从已存储的各个医学图像中，选择与所述图像选择指令对应的各个待融合医学图像，其中，所述已存储的各个医学图像为：预先选择的手术模式对应的各个医学影像设备采集的医学图像；

获取预处理得到的图像融合基准面，其中，所述图像融合基准面为：对双目摄像头采集的包含所有第一定位小球在预设位置的小球位置图像进行处理后得到，所述预设位置为：在手术部分的人体表面，在手术设定的入口附近的位置；

根据所述图像融合基准面上各个第一定位小球的相对位置，将各个所述待融合医学图像在所述图像融合基准面上进行融合，得到多模态融合图像。

4.根据权利要求3所述的多模态图像融合方法，其特征在于，所述图像融合基准面的获取过程为：

获取放置在预设位置的人体表面基准面定位模块中各个第一定位小球的实际位置信息，其中，所述预设位置为：在手术部分的人体表面，在手术设定的入口附近的位置，所述实际位置信息包括：各个所述第一定位小球的小球编号和体积大小，以及各个所述第一定位小球彼此之间的最短距离；

获取双目摄像头采集的包含所有第一定位小球的位置信息的小球位置图像；

根据各个所述第一定位小球的实际位置信息，对所述小球位置图像中的各个所述第一定位小球的位置进行调整，使所述小球位置图像中的各个所述第一定位小球的位置与实际位置一致；

将调整完成的小球位置图像确定为所述图像融合基准面。

5.根据权利要求3所述的多模态图像融合方法，其特征在于，还包括：

将所述多模态融合图像输出至显示器进行显示。

6.根据权利要求3所述的多模态图像融合方法，其特征在于，所述根据所述图像融合基准面上各个第一定位小球的相对位置，将各个所述待融合医学图像在所述图像融合基准面上进行融合，得到多模态融合图像具体包括：

获取3D人体解剖图；

根据所述图像融合基准面上各个第一定位小球的相对位置，将所述3D人体解剖图和各个所述待融合医学图像在所述图像融合基准面上进行融合，得到所述多模态融合图像，其中，所述3D人体解剖图为所述多模态融合图像中作为底层的图像。