[发明专利]一种手术综合视景智能辅助系统及图像处理方法

说明书

本发明公开了一种手术综合视景智能辅助系统及图像处理方法，该系统包含：眼镜，其具有镜框和两镜腿；设置于镜框前的VR/AR显示屏；设置于镜框上的两个红外光源；分别设置在两镜腿上的两个光学跟踪视频摄像头，用于接收术区标记点反射信号以跟踪术区标记点获取相对位置信息，及，用于拍摄使用者视线范围内图像，获得视频拍摄图像；数据接收处理装置，包含用于接收外界信息的数据接收端口，语音指令处理组件，及，图像处理组件；微型麦克风；及，供电元件。本发明提供的手术综合视景智能辅助系统实现了导航图像虚实融合成像，无需使用者在脑中构建叠加效果，并可通过语音指令进行显示内容切换与投射，辅助手术进行，提高了手术效率。

技术领域

本发明涉及一种医疗器械，具体涉及一种手术综合视景智能辅助系统及图像处理方法。

背景技术

手术室内仪器设备众多，主刀医生在手术过程中需要知晓患者的不同信息，往往需要在不同设备显示器之间来回调整视线，或请手术室中其他人员协助切换显示内容，以获得所需内容，完整获知目标信息的过程十分耗时。以导航技术为例，部分手术区域解剖结构复杂，或存在解剖变异等情况，需利用导航技术进行辅助。

传统导航系统使用时主刀医生需从另外的显示屏获得术前重建的图像与当时使用器械的相对位置关系，再将视线移回术区，在脑中构建叠加效果，以辅助判断病灶、解剖结构位置。通过独立的显示器显示重建图像，无法与术区图像叠加显示，使用时医生视线需在显示器与术区间来回切换，操作十分不便，也难以达到最理想的辅助效果。

以上实际应用场景会造成手术时间消耗，延长整体手术操作时长，极有可能给患者带来不利影响。

发明内容

本发明的目的是解决传统导航系统辅助效果不佳的缺陷，提出一种手术综合视景智能辅助系统，利用AR/VR技术将虚实图像叠加显示，通过简单语音指令，调整需要的显示内容至目标屏幕，协助医生进行手术操作。

为了达到上述目的，本发明提供了一种手术综合视景智能辅助系统，其包含：

眼镜，其具有镜框和两镜腿；

设置于镜框前的VR/AR显示屏；

设置于镜框上的两个红外光源，用于辅助光学跟踪视频摄像头测距；

分别设置在两镜腿上的两个光学跟踪视频摄像头，用于接收术区标记点反射信号以跟踪术区标记点获取相对位置信息，及，用于拍摄使用者视线范围内图像，该图像用于后续图像融合。

数据接收处理装置，用于：接收外界信息、语音指令处理、图像处理。该数据接收处理装置设置在镜腿两侧摄像头后，相当于CPU，可进行各种运算与指令处理。

所述的外界信息包括但不限于原始影像数据重建结果，内镜成像内容，显微镜成像内容，病人病历信息、检查结果，基本生命体征监测值等，可利用语音指令进调用、呈现。

所述的语音指令是指通过麦克风收集的主刀医生语音指令。所述的语音指令处理，包括语音指令的识别、反馈。已预先设定可识别的语音指令内容，主刀医生通过发出语音指令，实现轻松调整显示屏显示内容。数据接收处理装置识别该语音指令，做出反馈，根据语音指令调整输出不同来源的数据、信息等至显示屏作为显示内容。

所述的图像处理包括图像配准，视频拍摄图像与术前影像数据进行图像融合，并根据语音指令输出至所述显示屏。

设在镜腿末端的微型麦克风，用于收集语音指令；

供电元件，用于提供电源。

可选地，所述的数据接收处理装置通过无线传输或有线传输获取数据信号。

可选地，该系统还包含：至少一个位置传感器，用于协助监测眼镜方位变换，以实现调整成像内容角度，因融合图像需基于不同距离、角度，点对点融合才能进一步确保融合图像的准确性。