[发明专利]一种基于图像识别的人体关键部位定位系统及方法

说明书

本发明属于图像识别定位技术领域，涉及一种基于图像识别的人体关键部位定位系统及方法。方法包括：S1采集训练人体图像样本；S2对训练人体图像样本按照人体部位进行划分，并进行数据标定、归一化处理；S3神经网络模型基于归一化训练人体图像样本数据进行训练；S4输入归一化真实人体图像样本数据至训练后神经网络模型，以得到描述目标位置信息的先验框，并基于先验框进行位置回归以对坐标进行回归预测，以得到目标预测框，基于目标预测框的位置信息输出人体各部位的位置坐标；S5对人体各部位的位置坐标进行畸变消除；S6基于畸变消除后位置坐标，控制指向机构指向人体相应部位。本发明给出了模型训练的方式，考虑了镜头畸变影响，可保证定位精度。

技术领域

本发明属于图像识别定位技术领域，具体涉及一种基于图像识别的人体关键部位定位系统及方法。

背景技术

近些年来，随着机器人技术的不断发展，机械臂越来越高频地出现在社会生活和公众视线中。作为一种机械化、多关节的手臂，它是机器人中最常见却并非唯一的形态，机械臂可被应用于多种工作场景如：流水线装配、教育学习以及远程医疗等。

人体关键部位定位技术指通过图像处理手段实现对人体大致部位的准确定位，该技术可用于完善机械臂的视觉系统，并为相关工作人员在远程医疗以及机器人教育等场景下的操作提供一定的便利，可节省预定位的时间，提高工作效率。

例如申请号为CN201811079870.7的中国专利，公开了一种按摩部位识别、定位、按摩方法及装置、设备，具体为获取按摩对象的图像和按摩部位识别参数信息，所述按摩部位识别参数信息为力参数和/或按摩对象的声音参数；根据所述图像和所述按摩部位识别参数信息，基于预先经过训练的第二模型，生成第一指令，通过所述第一指令调整所述按摩执行器的位姿，使得所述按摩执行器定位在所述按摩部位处；其中，所述第二模型包括依序排列的第一部分和第二部分；所述根据所述图像和所述按摩部位识别参数信息，基于预先经过训练的第二模型，生成第一指令包括：将所述图像输入所述第一部分，得到向量；将所述向量与所述按摩部位识别参数一起输入所述第二部分，以生成所述第一指令；所述第一指令为位姿向量。该专利可基于预先经过训练的第二模型，生成第一指令，通过所述第一指令调整所述按摩执行器的位姿，使得所述按摩执行器定位在所述按摩部位处。但其并未给出模型的训练方式、模型的结构，并且也未考虑如何提升定位装置的定位精度。

发明内容

针对现有技术中存在的上述问题，本发明提供一种基于图像识别的人体关键部位定位系统及方法，给出了模型训练的方式、模型具体结构，可基于训练后的神经网络模型，对采集得到的人体图像中的关键部位进行定位，并得到各部位的位置坐标，还可避免采集图像用的镜头的自身畸变对位置坐标定位精度造成的影响。

本发明采用以下技术方案：

一种基于图像识别的人体关键部位定位系统，包括依次联接的图像数据采集模块、数据预处理模块、神经网络模型、畸变消除模块、指向模块；

图像数据采集模块，用于采集训练人体图像样本、真实人体图像样本；

数据预处理模块，用于对训练人体图像样本、真实人体图像样本按照人体部位进行划分，并进行数据标定，对进行数据标定后的人体图像样本数据进行归一化处理，以得到归一化训练人体图像样本数据、归一化真实人体图像样本数据；

神经网络模型，基于归一化训练人体图像样本数据进行训练，以得到训练后神经网络模型；

训练后神经网络模型，基于输入的归一化真实人体图像样本数据，得到描述目标位置信息的先验框，并基于所述先验框进行位置回归以对坐标进行回归预测，以得到目标预测框，基于目标预测框的位置信息输出人体各部位的位置坐标；

畸变消除模块，基于图像数据采集模块中镜头的畸变消除公式对人体各部位的位置坐标进行畸变消除，以得到畸变消除后的人体各部位的位置坐标；