[发明专利]基于虚拟现实和增强现实的智能手术辅助系统

说明书

技术领域

本发明属于电子技术领域，更进一步涉及一种智能手术辅助系统，可用于医学影像平台和手术辅助系统中。

背景技术

临床手术是现代医疗的重要诊疗手段，目前复杂外科手术的实施方案，主要依赖于核磁共振、计算机断层扫描等三维医学影像来制定。但临床手术开刀之后，由于存在血液漫流和器官遮挡等生理因素，医生的手术视野比较有限，手术中所见景象往往血肉模糊，加之术中病灶常常发生形态变化，脉管结构存在复杂畸变，往往难以直观辨认。手术室配备的医疗影像设备使用复杂，往往需要配备专门的医护人员来操作仪器，使用不便，医生很难将术中所见血肉模糊的景象与术前影像学图像关联起来，造成了注意力的分散，这种信息不对称的情形导致解剖结构辨识困难，影响术中决策。

近年来，为了解决复杂外科手术难以有效开展的问题，结合虚拟现实和增强现实技术的最新发展，主要通过术前术中信息，建立无畸变三维立体图像，捕捉术中视野或手术动作，对术中每一阶段的生理状况进行逐一检测和融合，反馈给医生作为指导。

Method和Bay Innovation合作，在2015年其公布的设备VIVI医学专用智能头戴眼镜中以下简称VIVI头戴眼镜，使用增强现实技术，在医生做手术的过程中显示病人当前的脉搏、血压及体温等身体数据和补充资料。该设备通过蓝牙与手术室中其他监护设备连接，便携式方案起到了很好的配合作用，避免了在升级现有手术室设备时，器材过多、功能冗杂的问题，医生可以把注意力放回到病人身上，如果出现紧急情况，及时调整手术决策。目前VIVI头戴眼镜只能呈现血压血氧等最简单的参数，医生仍需要从其他地方获得更加深入的信息。

北京航空航天大学所申请的发明专利“一种用于增强现实手术导航的腹腔镜视频精准融合方法”中(公开号：CN106327587A，申请号：CN201611019614.X，申请日：2017.01.11)，首先对腹腔镜相机进行标定，确定相机参数，并使用该参数进行3D图形渲染引擎的投影矩阵设置；获取手术对象术中的腹腔镜图像，用3D图形渲染引擎生成对应的无畸变视图，并用畸变模型使其变形为与实际腹腔镜具有同样畸变效果的虚拟视图；通过融合虚拟视图与实际腹腔镜图像，生成虚拟视图的每一个像素点的深度值，最终获得具有正确位置映射关系的精准虚拟-真实融合视频用于手术导航。

深圳市科创数字显示技术有限公司所申请的发明专利“AR和VR相结合的医学培训系统”(公开号：CN106251752A，申请号：CN201610940646.7，申请日：2016.10.25)，通过3D图像采集模块采集手术目标对象以及培训人员使用的手术器械的三维图像，通过动作捕捉模块实时捕捉培训人员的手术动作，通过中央处理器输出纠正信息和指导信息，建立包含3D图像采集模块采集的三维图像、指导信息以及纠正信息的增强现实或虚拟现实模型，培训人员通过AR交互模块实时获取手术目标对象和其使用的手术器械的状况、指导信息以及纠正信息，能够提升医疗培训的真实感与临场感，缩短医疗培训周期，降低医疗培训成本。

上述现有的使用虚拟现实和增强现实的系统仍有以下部分缺陷：

第一，通过拍摄场景加以3D渲染变形，仅能还原器材或病灶的表面情况，不能深入畸变的生理结构内部，提供其任意角度和即时状态的生理信息；

第二，使用者无法快速地进行人机交互，在术中导航难以做到实时有效，只能单一地从机器反馈的信息中矫正自己的动作，有一定的滞后性，无法命令机器达到医生自己术中最需要的效果；

第三，仅捕捉了如相机、手术器材等简单外设的信息，可提供的辅助功能较为单一，不能直接对患者本身病情作出快速指导，使术前规划、术中操作、手术培训的完整过程在一定程度上出现了断层。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于虚拟现实和增强现实的智能手术辅助系统及方法，以对核磁共振、计算机断层扫描这些传统三维医学影像进行直观全面、具体精确地查看与标定，并以语音交互的方式，为手术中医生作出实时指导。

本发明的技术方案是这样实现的：

一、技术原理

本发明采用HTC Vive作为虚拟现实设备，采用Hololens作为增强现实设备，以Unity 5.3.5作为开发平台，利用C#语言编程，研究开发术前虚拟影像工作室、术中投影显示及交互调用模块。