[发明专利]基于增强现实和语义控制的医疗康复远程指导系统的方法

权利要求书

1.基于增强现实和语义控制的医疗康复远程指导系统的方法，其特征在于，包括如下步骤：

S1：由医护人员佩戴增强现实眼镜，医护人员根据眼镜界面和语音提示，与眼镜中内置的护理辅助机器人进行交互，进一步地了解到患者的相关信息；

S2:医护人员发起远程问诊，选择后台在线的康复医师或护理专家进行视频交流，后台专家可以直接观看到增强现实眼镜拍摄到的画面(即医护人员直接看到的画面)，对医护人员进行指导。此外，专家还可以发送文字或者图片，这会直接呈现在增强现实眼镜的屏幕上显示，方便医护人员查看；

S3：后台专家可以在视频上进行勾画标记，基于自适应惯性权重粒子群算法的图像分割技术和基于快速区域卷积神经网络的物体识别算法，无缝地将标记内容与智能眼镜的非视像区域中观察到的现实景象进行完整拼接，以增强现实的方式展示在医护人员眼镜前端，辅助医护人员理解康复内容；

S4：系统支持动态标注，由专家标注关键部位或物体，基于视频图像的机器学习技术和滑动模型控制技术实现眼镜端视频图像叠加与图形跟踪定位，当用户场景转变时，基于机器学习算法同步运算各个增强现实标记的最新视像区域坐标，实现医护物理实景中的问题与相应标记的完全同步，帮助医护人员在不同视角也可以清晰地知道需要操作的部位或物体。

2.根据权利要求1所述的基于增强现实和语义控制的医疗康复远程指导系统的方法，其特征在于，所述S3中的图像分割技术，用于针对增强现实眼镜拍摄的图像，仅需要关注主要事物，如老人和器械，所以采用基于掩码卷积神经网络的实例分割法，通过扫描图像生成分类区域，再根据分类区域生成边界框和掩码，引入深度残差网络降低参数的数目，使得网络模型训练更加快速，充分利用各阶段提到的特征，实现分离对象的前景和背景，区分不同的区域。

3.根据权利要求1所述的基于增强现实和语义控制的医疗康复远程指导系统的方法，其特征在于，所述S3中的物体识别算法，将拍摄图像作为待检测图像进行输入，然后利用搜索算法在输入图像中提取出最有可能包含目标实例的候选区域，并将候选区域尺度缩放，进行特征提取，最后根据所提特征，利用SVM进行分类，用边框回归器微调候选框的位置。

4.根据权利要求1所述的基于增强现实和语义控制的医疗康复远程指导系统的方法，其特征在于，所述S4还包括如下步骤，专家可以在通话视频上对关键部位或物体进行画框标记，被标记的区域会作为需要追踪的初始图像，然后对初始图像进行预处理，进行网格搜索，在空间离散点出算出得分函数，找到最大值作为迭代优化的初始值。然后将获得的最大值作为傅里叶级数展开的初始值，利用牛顿迭代法和Hessian矩阵进行最值迭代，作为后续跟踪的依据。

5.根据权利要求1所述的基于增强现实和语义控制的医疗康复远程指导系统的方法，其特征在于，所述S4还包括如下步骤，从预训练好的深度神经网络中提取出多分辨率特征图，再从每帧中提取单个训练样本，设置大小为目标框区域25倍的区域，以这个大小提取出目标位置的中心图像样本，并设置相应的权重和学习率，并将权重归一化,然后采用可以自适应调整目标尺度大小的多尺度搜索策略进行最大化网格搜索，再利用牛顿迭代法进行最值迭代,最后求解矩阵方程来训练滤波器，采用共轭梯度法进行迭代。在初始帧中，需要使用较大的迭代次数进行迭代来找到滤波器系数的初始估计，在随后的帧中，用当前的滤波器初始化共轭梯度，并只需要迭代几次，即可得到连续置信度输出函数，找到目标的位置。