[发明专利]以AR技术为基础应用于认知功能评估的肢体动作识别方法

说明书

本发明公开了一种以AR技术为基础应用于认知功能评估的肢体动作识别方法。本发明以AR技术为基础应用于认知功能评估的肢体动作识别方法，包括：建立数据库、动作捕捉与分析两部分。

技术领域

本发明涉及人工智能与医疗卫生或智慧医疗领域，具体涉及一种以AR技术为基础应用于认知功能评估的肢体动作识别方法。

背景技术

目前，认知功能障碍评估主要是以专业医师一对一面对面评估为主的，线上评估较少。而在现在已知的线上认知功能评价系统中，因为相应的技术局限，原本由医师参与的测试内容无法实现，故其中大部分线上评价存在专业性差、准确性低等问题。

近年来增强现实(AR)技术蓬勃发展，AR是一种将虚拟信息与真实世界巧妙融合的技术，可实现对真实世界的“增强”。当前AR技术已被应用于智慧医疗领域，在教学、诊断、治疗等环节中均被证明有较大发展前景，但因为技术及设备限制，仍处在研究层面，未在临床上普及。而在以认知障碍为主要表现的老年痴呆评估中未见相关应用。

传统技术存在以下技术问题：

现有技术的缺陷一方面是认知功能评估模式的缺陷，现阶段的认知功能评估主要由线下专业医师完成，测试结果受医师主观认识与客观环境影响，且需要在医院一对一进行，耗费人力物力，并且由于家属发现并带到医院检查时多数是中晚期阶段，已无法逆转病变，无法对轻度老年痴呆患者进行筛查和及时干预。另一方面是当前AR技术处于初始阶段，很难应用到复杂场景。

发明内容

本发明要解决的技术问题是提供一种以AR技术为基础应用于认知功能评估的肢体动作识别方法。

为了解决上述技术问题，本发明提供了一种以AR技术为基础应用于认知功能评估的肢体动作识别方法，包括：建立数据库、动作捕捉与分析两部分；

建立数据库：

选取阿尔茨海默病评定量表-认知分量表中“指令”部分作为测试内容；

进行动作数据采集，采集两套数据；其中，第一套数据为标准数据和第二套数据为模仿数据；

检测并过滤异常数据；首先利用基于阈值的方法对异常数据进行检测，根据先验知识或者是与统计的方法相结合选定阈值，超过阈值的数据视为异常数据；

选用Unity 3D进行动作数据的预览；首先将事先准备好的人形模型(FBX格式)导入Unity 3D中；模型包含骨架、蒙皮和Avatar三个部分，导入后将动画类型改为人形动画，然后设置模型关节点。接着创建自定义骨架，最后是传输运动数据，即将处理后的运动数据加载至一个二维数组中，然后每一帧传递数组的一列数据至自定义的骨架中进行预览。

经预览后将符合要求的动作数据储存入数据库中；

动作捕捉与分析：

首先利用设备摄像头采用实时图像采集方法对使用者进行人物动态图像采集，提取动态人物图像的三维动作流形矢量，对动作特征点进行自适应匹配；

结合三维动作特征点的流形分割方法，得到使用者的人物动作重构的动态特征量，在人物动态成像的成像区域进行三维动作流形分解，得到人物动作的实时捕捉先验信息；

采用三维动态跟踪识别方法进行人物动作的动态图像特征提取，对采集的人物动态图像进行动作特征点定位，在边缘帧不变的约束条件下，采用AR虚拟现实技术进行人物动态图像的包络轮廓分割；

在人体动态变化下，得到动作向量的集合描述；在仿射不变区域内，根据人体的动作特征进行动态图像的AR重构，得到灰度像素范围区域中的人体动作特征捕捉的衔接动作向量；

根据图像像素跟踪点进行人物动态图像的角点检测，得到人物AR动态图像的三维动作捕捉分析图；