[发明专利]基于增强现实和语义控制的医疗康复远程指导系统的方法

说明书

本发明公开了基于增强现实和语义控制的医疗康复远程指导系统的方法，包括如下步骤：S1：由医护人员佩戴增强现实眼镜，医护人员根据眼镜界面和语音提示，与眼镜中内置的护理辅助机器人进行交互，进一步地了解到患者的相关信息；S2:医护人员发起远程问诊，选择后台在线的康复医师或护理专家进行视频交流，后台专家可以直接观看到增强现实眼镜拍摄到的画面(即医护人员直接看到的画面)，对医护人员进行指导。此外，专家还可以发送文字或者图片，这会直接呈现在增强现实眼镜的屏幕上显示，方便医护人员查看。本发明有益效果，远程康复作为一种康复服务模式，相对于线下康复而言，有着持续规律、免去奔波、经济节约等优点。

技术领域

本发明涉及健康医疗和健康养老技术领域，尤其涉及基于增强现实和语义控制的医疗康复远程指导系统的方法。

背景技术

随着我国人口老龄化、残疾人整体数量以及意外伤害、工伤发病率的增加，社会对康复治疗的需求越来越大。并且，随着医学发展和医疗条件的改善,患者的住院时间日趋缩短.在急性期的治疗完成后,患者常被转入下级医疗单位或直接返回家中,进入疾病康复阶段。传统的康复治疗主要由康复专家直接提供，然而需要康复的患病人群数量增多，以及康复专业人员短缺等因素使得康复学科的社会需求变得更加复杂。一些疾病的复杂性和特异性决定了其康复所需时间长、康复内容复杂、牵涉面广，需要对患者进行动态、系统的康复评估以及并发症的管理，对康复过程、居家的康复训练进行必要的指导，都是康复护理的关键过程。远程康复是一项现代信息及通信技术与康复医学相结合的多学科交叉课题，它可以被定义为：在综合运用通信、远程感知、远程控制、计算机、信息处理等技术的基础上，实现的远程康复医疗服务。

现有的远程康复及康复指导，比较多的方式是采用事先录好的指导视频的方式，由操作人员或者患者，依照视频的指导，进行康复训练。使用视频的方式虽然解放了康复师，但是对于操作人员或者患者而言，需要实时看着视频，才能够了解视频中的动作，然后在参照视频做出相应的动作，一边看视频一边做动作，必然会对操作者带来一定的不方便，当进行转身或者翻身的时候，就难以看到视频了，如果将设备拿到手上，很多动作又无法做到位。另外，每个人对视频动作的理解，以及对自己动作的到位情况也存在差异，不到位的动作起不到康复训练的目的，变形的动作还可能造成附加的伤害。

因此，如何在操作人员或者患者接受指导的同时，还能够解放他们的双手，并对他们的动作完成度进行必要的指导，是当前远程康复及远程康复指导需要解决重要问题。

发明内容

本发明的目的是为了解决现有技术中存在的缺点，而提出的基于增强现实和语义控制的医疗康复远程指导系统的方法。

为了实现上述目的，本发明采用了如下技术方案：

基于增强现实和语义控制的医疗康复远程指导系统的方法，包括如下步骤：

S1：由医护人员佩戴增强现实眼镜，医护人员根据眼镜界面和语音提示，与眼镜中内置的护理辅助机器人进行交互，进一步地了解到患者的相关信息；

S2:医护人员发起远程问诊，选择后台在线的康复医师或护理专家进行视频交流，后台专家可以直接观看到增强现实眼镜拍摄到的画面(即医护人员直接看到的画面)，对医护人员进行指导。此外，专家还可以发送文字或者图片，这会直接呈现在增强现实眼镜的屏幕上显示，方便医护人员查看；

S3：后台专家可以在视频上进行勾画标记，基于自适应惯性权重粒子群算法的图像分割技术和基于快速区域卷积神经网络的物体识别算法，无缝地将标记内容与智能眼镜的非视像区域中观察到的现实景象进行完整拼接，以增强现实的方式展示在医护人员眼镜前端，辅助医护人员理解康复内容；

S4：系统支持动态标注，由专家标注关键部位或物体，基于视频图像的机器学习技术和滑动模型控制技术实现眼镜端视频图像叠加与图形跟踪定位，当用户场景转变时，基于机器学习算法同步运算各个增强现实标记的最新视像区域坐标，实现医护物理实景中的问题与相应标记的完全同步，帮助医护人员在不同视角也可以清晰地知道需要操作的部位或物体。