[发明专利]一种基于图像识别的人体关键部位定位系统及方法

权利要求书

1.一种基于图像识别的人体关键部位定位系统，其特征在于，包括依次联接的图像数据采集模块、数据预处理模块、神经网络模型、畸变消除模块、指向模块；

图像数据采集模块，用于采集训练人体图像样本、真实人体图像样本；

数据预处理模块，用于对训练人体图像样本、真实人体图像样本按照人体部位进行划分，并进行数据标定，对进行数据标定后的人体图像样本数据进行归一化处理，以得到归一化训练人体图像样本数据、归一化真实人体图像样本数据；

神经网络模型，基于归一化训练人体图像样本数据进行训练，以得到训练后神经网络模型；

训练后神经网络模型，基于输入的归一化真实人体图像样本数据，得到描述目标位置信息的先验框，并基于所述先验框进行位置回归以对坐标进行回归预测，以得到目标预测框，基于目标预测框的位置信息输出人体各部位的位置坐标；

畸变消除模块，基于图像数据采集模块中镜头的畸变消除公式对人体各部位的位置坐标进行畸变消除，以得到畸变消除后的人体各部位的位置坐标；

指向模块，基于所述畸变消除后的人体各部位的位置坐标，控制指向机构指向人体相应部位；

所述神经网络模型包括骨干网络层、第一脖颈网络层、第二脖颈网络层、第一预测层、第二预测层，骨干网络层分别与第一脖颈网络层、第二脖颈网络层联接，第一脖颈网络层与第一预测层联接，第二脖颈网络层与第二预测层联接；

所述骨干网络层包括依次联接的第一DBL层、第一MDBL层、第二MDBL层、第二DBL层，所述第一MDBL层由四对串联的第一最大池化层、第三DBL层串联得到，所述第二MDBL层由两对串联的第二最大池化层、第四DBL层串联得到，DBL层均由第三卷积层、BN层、Leaky relu函数层串联得到；

第一MDBL层与拼接层联接，第二DBL层通过串联的第五DBL层、上采样层与拼接层联接，拼接层通过第二脖颈网络层与第二预测层联接；

所述第一脖颈网络层由串联的第六DBL层、第一卷积层串联得到，所述第二脖颈网络层由串联的第七DBL层、第二卷积层串联得到；

第二DBL层与第六DBL层联接，拼接层与第七DBL层联接，第一卷积层与第一预测层联接，第二卷积层与第二预测层联接。

2.根据权利要求1所述的一种基于图像识别的人体关键部位定位系统，其特征在于，所述畸变消除公式具体为：

，

其中，为所述人体各部位的像素位置坐标，为畸变消除后的人体各部位的像素位置坐标，表示像素位置坐标到图像中心的距离，，、为镜头径向畸变系数，、为镜头切向畸变系数。

3.根据权利要求1所述的一种基于图像识别的人体关键部位定位系统，其特征在于，系统还包括分别与畸变消除模块、指向模块连接的坐标转换模块；

坐标转换模块，用于将畸变消除后的人体各部位的位置坐标由像素坐标系转换至世界坐标系。

4.根据权利要求3所述的一种基于图像识别的人体关键部位定位系统，其特征在于，世界坐标系和像素坐标系变换的计算公式具体为：

，

，

其中，为畸变消除后的人体各部位的像素位置坐标，，分别表示每个像素单元实际的长度和宽度，为从图像坐标系中心点到像素坐标系中心点的一个偏移量，表示相机的焦距，和分别为世界坐标系和相机坐标系变换的旋转矩阵和平移向量，和分别为像素坐标系下轴和轴的归一化焦距，为相应点位在世界坐标系下的坐标，为相应点位在相机坐标系下Z轴上的坐标；

其中，相机坐标系以相机光心为原点，图像坐标系以所述光心在像平面的投影为原点，像素坐标系以图像平面的左上角为原点。

5.根据权利要求1所述的一种基于图像识别的人体关键部位定位系统，其特征在于，所述神经网络模型中第二预测层输入的特征图是通过骨干网络层中浅层网络的细节特征和深层网络的语义特征通过拼接层拼接获得。