[发明专利]基于虚拟现实和增强现实的智能手术辅助系统

权利要求书

1.一种基于虚拟现实与增强现实的智能手术辅助装置，其特征在于，包括：

数据预处理单元(1)，用于通过医学影像处理软件，将医院采集到的原始CT/MRI影像信息转化为系统可用的影像材料，重建三维病灶模型，并将其传递给术前规划单元(2)；

术前规划单元(2)，用于通过虚拟现实设备HTC VIVE，搭建虚拟影像工作室，载入本地三维病灶模型，使用者能够深入到病变器官内部的微小立体结构中，以任意角度对病灶进行分析，做出三维手术规划路径，并将规划路径与病灶模型进行合并，导出三维规划模型，以供术中辅助单元(3)随时调用；

术中辅助单元(3)，用于通过增强现实设备HoloLens获得三维病灶模型的特征点，使其与真实病灶部位得到空间配准，并调取显示三维规划模型提供的方案决策、手术监控设备提供的血氧血压这些基础生理参数，帮助医生辨认组织结构，执行术前规划。

2.根据权利要求1所述的装置，其特征在于，术前规划单元(2)包括：

UI界面模块(21)，用于承载虚拟影像工作室的其他各项功能模块，增强其可视化交互性，使用者通过UI界面按钮，从本地模型库中选择不同的三维病灶模型，并启动抓取查看模块(23)、飞行查看模块(24)和画笔标注模块(25)，切换病灶模型查看方式，做出三维手术规划路径；

模型控制模块(22)，用于通过虚拟现实设备手柄触摸板，对三维病灶模型进行自由缩放，以达到使用者在抓取查看模块(23)和飞行查看模块(24)所需的视觉范围；

抓取查看模块(23)，用于通过虚拟现实设备手柄按键，对相较于真实心脏比例1-3倍的病灶模型进行抓取，并将其拖拽以贴近面部，供使用者查看病灶模型内部和外部的结构信息，避免人为走动；

飞行查看模块(24)，用于通过虚拟现实设备手柄触摸板，对相较于真实心脏比例30-50倍的病灶模型精确查看，使用者通过自主控制飞行方向，观察静止病灶模型内部的微小结构；

画笔标注模块(25)，用于通过虚拟现实设备手柄扳机，对三维病灶模型进行影像数据标注和手术方案规划，即先根据RGB和HSV取色模式，设置线条颜色和粗细，再跟踪所持手柄的空间定位，做出三维标注及错误擦除；

数据导出模块(26)，用于将画笔标注模块(25)做出的三维手术规划路径与三维病灶模型合并，导出为三维规划模型，在术中辅助单元(3)的语音交互模块(32)和结构配准模块(33)中实时显示。

3.根据权利要求1所述的装置，其特征在于，术中辅助单元(3)包括：

云端控制模块(31)，用于通过手势识别，控制云端虚拟机上的影像处理软件或其他分析程序，完成程序内部预设功能；

语音交互模块(32)，用于通过语音识别，使用特定英文识别词显示术前规划模型，使模型的空间投影位置可随使用者视野边界的移动而移动，并在随时保持模型可见的同时，自由控制其旋转和缩放；

结构配准模块(33)，用于通过增强现实设备的空间定位感知，使术前规划模型与真实手术病灶得到配准，以进一步隐去术前规划模型中的三维病灶部分，只保留其手术规划路径、三维切口位置及深度信息，做出手术导航。