[发明专利]基于多个图像获取设备确定特征点的方法及系统

说明书

本发明提供一种基于多个图像获取设备确定特征点的方法及系统，其中方法包括：根据所获取的动态图像生成每个图像获取设备各自的动态图像文件；根据预先设置的配置文件为每个动态图像文件确定各自的神经网络，利用每个动态图像文件各自的神经网络进行数据处理，以获取与每个图像获取设备相关联的热图集；对多个热图集进行数据融合以获得每个图像获取设备的经过数据融合的热图集，进而获得包括主体对象的三维信息；以及对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息，基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点。

技术领域

本发明涉及图像识别技术领域，并且更具体地涉及一种基于多个图像获取设备确定特征点的方法及系统、计算机可读存储介质以及电子设备。

背景技术

目前，计算机视觉领域中的姿态评估技术已经在，诸如在体育运动赛事、临床外科模拟教学、脑功能开发以及康复训练等领域，取得了广泛的应用。然而，由于人体自身结构的对称性，以及开放场景的复杂性，导致现有的姿态评估方法在局部视野、人体特殊体位、人与人交互以及人与物交互等情况下会产生关键点或特征点识别失败的问题。

以康复训练为例，康复训练会进行局部关节的主动或被动锻炼，诸如肘关节屈伸、前臂旋前旋后等。视频采集往往采用近景局部视角。此时由于视野中采集的人体信息不完整而无法识别关键点或特征点。康复训练会进行不同体位的锻炼，诸如仰卧位、侧位站或坐等。比如在侧位站或坐时，由于人体自身的对称性结构，会产生自遮挡问题，使得靠近镜头的一侧会对远离侧产生遮挡，导致远离侧关键点或特征点识别失败。

此外，康复训练往往需要治疗师配合进行被动训练，此时因治疗师与患者紧密接触会产生互遮挡，从而导致关键点或特征点识别失败问题。比如治疗师协助康复患者进行前臂旋前旋后被动训练时，患者采取仰面平躺位，治疗师采用患者盘坐位。此时由于两者身体紧密接触，会导致上臂腕部关键点或特征点，以及部分下肢关键点或特征点识别失败。

康复训练往往会需要配合相关辅助器具来完成，诸如拉力绳、弹力球等。在使用过程中由于辅助器具对身体某些部位的遮挡也会导致关键点或特征点识别失败。

目前，现有技术中缺少对关键点或特征点识别失败问题的有效解决方案。本发明通过设计一种精准的分类框架，将康复医学、运动控制理论与计算机视觉、人工智能融合，解决姿态估计中人体自遮挡以及人与人、人与物互遮挡而导致的关键点估计失败的问题。

发明内容

为了解决现有技术中的问题，本发明提供了一种基于多个图像获取设备确定特征点的方法，所述方法包括：

每个图像获取设备基于各自的基准位置分别获取主体对象的动态图像，并根据所获取的动态图像生成每个图像获取设备各自的动态图像文件；

根据预先设置的配置文件为每个动态图像文件确定各自的神经网络，利用每个动态图像文件各自的神经网络进行数据处理，以获取与每个图像获取设备相关联的热图集；

对多个热图集进行数据融合以获得每个图像获取设备的经过数据融合的热图集，基于每个图像获取设备的经过数据融合的热图集获得包括主体对象的三维信息；以及

对每个动态图像文件进行图像识别以确定三维信息所涉及的客体对象的对象信息，基于客体对象的对象信息确定特征点修复类型，根据特征点修复类型对所述三维信息进行特征点的修复，以确定与主体对象相关联的多个特征点。

在每个图像获取设备基于各自的基准位置分别获取主体对象的动态图像之前还包括：

获取主体对象的位置属性和方向属性，基于位置属性和方向属性为多个图像获取设备中每个图像获取设备确定基准位置。

所述位置属性包括：主体对象的位置坐标和/或主题对象的位置区域。