[发明专利]远程手术数据融合交互显示系统及方法

权利要求书

1.远程手术数据融合交互显示系统，其特征在于，包括：术前采集与处理模块、深度相机场景采集模块、多模态数据集成与裸眼三维融合显示模块、数据通信模块、多维交互控制与反馈模块和手术器械操作与传感模块，其中：

所述术前采集与处理模块和所述多模态数据集成与裸眼三维融合显示模块相连接，用于通过医学影像设备采集患者对应部位的三维体数据，并根据临床医学诊断分割出感兴趣区域，将分割完成的体数据或病灶表面的面片数据提前传输至所述多模态数据集成与裸眼三维融合显示模块；

所述深度相机场景采集模块和所述数据通信模块相连接，用于通过多个双目深度相机采集患者在手术过程中的表面信息，将所述表面信息通过所述数据通信模块传输至所述多模态数据集成与裸眼三维融合显示模块，所述表面信息为带有颜色信息和深度信息的点云数据；

所述多模态数据集成与裸眼三维融合显示模块分别和所述术前采集与处理模块以及所述数据通信模块相连接，用于接收患者的术前影像数据和术中影像数据，通过多模态三维数据配准方式匹配所述术前影像数据和所述术中影像数据的空间位置，通过多模态融合方法和裸眼三维显示装置实现所述术前影像数据和所述术中影像数据的三维数据融合，并提供多尺度信息增强显示模式和手术端力反馈的可视化；

所述数据通信模块分别和所述深度相机场景采集模块、所述多模态数据集成与裸眼三维融合显示模块、所述多维交互控制与反馈模块和所述手术器械操作与传感模块相连接，用于实现远程手术中的图像、传感、位置和指令的传输；

所述多维交互控制与反馈模块和所述数据通信模块相连接，包括远程操作器、力反馈设备、手势识别器和拾音器，所述远程操作器用于在人手操控下实现器械尖端的多自由度位移，通过所述数据通信模块控制所述手术器械操作与传感模块的手术器械位置和移动方向，所述力反馈设备用于接收来自所述手术器械操作与传感模块前端的力与扭矩信息，并呈现所述力与扭矩信息，所述手势识别器和所述拾音器用于分别接收手势与语音指令，控制所述多模态数据集成与裸眼三维融合显示模块的显示状态；

所述手术器械操作与传感模块与所述数据通信模块相连接，包括医疗机械臂、前端设备和力学传感模块，所述医疗机械臂由所述远程操作器的运动映射控制，用于实现前端设备在手术空间中的位置变化，所述前端设备实现预设临床治疗，所述力学传感模块用于检测所述前端设备所感受的压力信息和扭矩信息；

所述多模态数据集成与裸眼三维融合显示模块用于包括体数据采集方式、点云采集方式和双目图像采集方式；

所述体数据采集方式包括核磁共振成像、计算机断层成像、正电子发射断层成像和光学相干断层成像；所述点云采集方式包括双目深度相机、结构光相机、ToF深度相机和三维扫描仪；所述双目图像采集方式包括双目显微镜和双目荧光成像；

所述多模态数据集成还包括多模态数据配准算法，所述多模态数据配准算法包括无标记配准算法和有光学标记物配准算法；

所述多模态数据集成与裸眼三维融合显示模块中的实时影像信息融合与三维显示包括术中多视点图像生成、术前术中多模态数据融合和裸眼三维显示，其中：

所述术中多视点图像生成包括采用深度相机阵列采集参考视点下的患者体表彩色图像和深度图像，通过三维图像卷绕和孔洞填充产生用与三维显示的多视点图像；

所述术前术中多模态数据融合包括采用不透明算法获取患者体表信息与体内信息融合方式，其中，所述体表信息的不透明度与手术过程中使用器械的尖端到体表距离相关联，所述体内信息的不透明度与灰度值、梯度值和病灶是否被消除的状态相关联，所述体内信息的颜色值与术前分割获得的病灶位置标注情况和其它预设特征相关联；

所述裸眼三维显示包括显示屏和柱透镜阵列组合，和显示屏和微透镜阵列组合。

2.根据权利要求1所述的远程手术数据融合交互显示系统，其特征在于，所述多模态数据集成与裸眼三维融合显示模块还用于多尺度信息融合显示方式、采用大小窗的显示模式和力反馈前端信息的增强可视化；

所述多尺度信息融合显示方式包括在不同尺度下采用平面图像显示对应部分的数据；

所述采用大小窗的显示模式包括数据导航功能和局部结构精细显示功能；

所述力反馈前端信息的增强可视化包括通过颜色和箭头方向指示探针前端的状态和受力情况。