[发明专利]一种低成本实时骨骼关键点识别方法和装置

权利要求书

1.一种低成本实时骨骼关键点识别装置，其特征在于，所述识别装置包括图像采集模块、核心计算单元、轻量级神经网络算法模块、神经网络加速引擎和骨骼关键点输出模块，其中，所述图像采集模块对图像进行采集，将获取的图像信息发送至核心计算单元；所述核心计算单元对获取的图像进行图像处理，轻量级神经网络算法模块采用改进型的SqueezeNet作为基础骨干网络，结合特征金字塔网络对图像进行多尺度特征提取，通过所述神经网络加速模块对网络进行加速，最后通过骨骼关键点输出模块进行骨骼关键点输出，图像采集模块采用任意单目摄像头，核心计算单元采用移动端CPU。

2.如权利要求1所述的一种低成本实时骨骼关键点识别装置，其特征在于，所述神经网络加速模块进一步包括：输入图像首先进入改进的SqueezeNet骨干网络进行计算，所述SqueezeNet骨干网络由两个卷积层，八个Fire层和三个池化层组成，其中卷积层conv1层经过96组7x7的卷积核，卷积层conv10经过1000组1x1的卷积核；池化层maxpool1、maxpool2、maxpool3大小均为3x3；fire层结构统一，其中Squeeze部分由连续的1x1卷积组成，Expand部分由连续的1x1卷积和3x3卷积连接组成。

3.如权利要求2所述的一种低成本实时骨骼关键点识别装置，其特征在于，若Squeeze部分的通道数记为S1x1，而Expand部分的1x1的卷积数和3x3的卷积数分别记为e1x1和e3x3，则以上三者的关系满足下面公式：S1×1e1×1+e3×3。

4.如权利要求3所述的一种低成本实时骨骼关键点识别装置，其特征在于，所述神经网络加速模块还在fire3、fire5、fire7和fire9层之间都增加了网络捷径(short-cut)以提高训练期间鲁棒性，防止过拟合，所述改进的SqueezeNet骨干网络输出一系列卷积特征图至特征金字塔网络进行下一步计算。

5.如权利要求3所述的一种低成本实时骨骼关键点识别装置，其特征在于，抽取骨干网络SqueezeNet中的fire2、fire6、fire5和conv10四个尺度以构建特征金字塔网络，经过特征金字塔网络处理后，在每一个尺度上分别输出预测的结果。

6.如权利要求4所述的一种低成本实时骨骼关键点识别装置，其特征在于，所述特征金字塔网络进一步包括：所述预测的结果包含两个部分：热图(heatmap)和向量场(paf)，综合多个尺度的heatmap和paf的预测结果，模型最终得出骨骼关键点的输出结果。若最终有n个尺度的预测结果，则heatmap和paf的最终预测结果Fheatmap和Fpaf分别如下公式表示：

其中，vh_i和vp_i分别为每一个尺度输出的heatmap和paf值。

7.如权利要求1所述的一种低成本实时骨骼关键点识别装置，其特征在于，所述神经网络加速模块进一步包括：量化和加速引擎，其中，所述量化为对于模型训练过程中采用FP32格式的数据在推理过程中将FP32格式的数据转化为INT8格式，所述加速引擎为在模型推理过程基于OpenCL框架进行加速进一步提升了骨骼关键点识别过程的实时性。

8.一种低成本实时骨骼关键点识别的方法，利用如权利要求1-7所述的装置，其特征在于，对图像数据进行采集，对获取的图像信息进行图像处理，通过采用改进型的SqueezeNet作为基础骨干网络，结合特征金字塔网络对图像进行多尺度特征提取，经过特征金字塔网络处理后，在每一个尺度上分别输出预测的结果，通过对数据在推理过程中的量化和加速，最后实时输出采集图像的骨骼关键点信息。