[发明专利]一种低成本实时骨骼关键点识别方法和装置

说明书

本发明公开了一种低成本实时骨骼关键点识别装置，所述识别装置包括图像采集模块、核心计算单元、轻量级神经网络算法模块、神经网络加速引擎和骨骼关键点输出模块，其中，所述图像采集模块对图像进行采集，将获取的图像信息发送至核心计算单元；所述核心计算单元对获取的图像进行图像处理，轻量级神经网络算法模块采用改进型的SqueezeNet作为基础骨干网络，结合特征金字塔网络对图像进行多尺度特征提取，通过所述神经网络加速模块对网络进行加速，最后通过骨骼关键点输出模块进行骨骼关键点输出，图像采集模块采用任意单目摄像头，核心计算单元采用移动端CPU。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种低成本实时骨骼关键点识别方法和装置。

背景技术

骨骼关键点识别技术是计算机视觉的基础技术之一。该技术通过传感器(摄像头，红外线等设备)，在图像/视频数据中检测人体的关节、五官，通过关键点描述人体骨骼信息。

然而，现有基于深度学习的骨骼关键点识别算法大多在低成本硬件平台上难以实时运行，需要搭配高成本的硬件(如GPU或高端摄像头)才能达到实时。当前发明基于一系列软硬件优化技术，可以实现在低成本硬件平台上，完成骨骼关键点的实时识别。在保证精确性的前提下，相比于主流方法引入的约50毫秒的识别时延，当前发明技术可以达到最低3毫秒的识别时延。

传统的骨骼关键点算法在几何先验的基础上基于模版匹配的思路来进行，精确性较差。而现有的基于深度学习的骨骼关键点识别算法由于硬件性能的限制，在低成本硬件平台上(如移动端手机、平板)的识别速度较慢，算法联动应用会造成应用卡顿、丢帧等情况，非常影响用户体验。

发明内容

基于上述不足，本发明主要面向于移动端/嵌入式设备的骨骼关键点识别，采用轻量级的深度学习算法并应用神经网络加速技术进行优化，硬件仅需采用CPU和单目摄像头，即可完成对骨骼关键点的低成本实时识别，无需GPU或高端摄像头(kinect)。

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明公开了一种低成本实时骨骼关键点识别装置，所述识别装置包括图像采集模块、核心计算单元、轻量级神经网络算法模块、神经网络加速引擎和骨骼关键点输出模块，其中，所述图像采集模块对图像进行采集，将获取的图像信息发送至核心计算单元；所述核心计算单元对获取的图像进行图像处理，轻量级神经网络算法模块采用改进型的SqueezeNet作为基础骨干网络，结合特征金字塔网络对图像进行多尺度特征提取，通过所述神经网络加速模块对网络进行加速，最后通过骨骼关键点输出模块进行骨骼关键点输出，图像采集模块采用任意单目摄像头，核心计算单元采用移动端CPU。

更进一步地，所述神经网络加速模块进一步包括：输入图像首先进入改进的SqueezeNet骨干网络进行计算，所述SqueezeNet骨干网络由两个卷积层，八个Fire层和三个池化层组成，其中卷积层conv1层经过96组7x7的卷积核，卷积层conv10经过1000组1x1的卷积核；池化层maxpool1、maxpool2、maxpool3大小均为3x3；fire层结构统一，其中Squeeze部分由连续的1x1卷积组成，Expand部分由连续的1x1卷积和3x3卷积连接组成。

更进一步地，若Squeeze部分的通道数记为S1x1，而Expand部分的1x1的卷积数和3x3的卷积数分别记为e1x1和e3x3，则以上三者的关系满足下面公式：S1×1e1×1+e3×3。

更进一步地，所述神经网络加速模块还在fire3、fire5、fire7和fire9层之间都增加了网络捷径(short-cut)以提高训练期间鲁棒性，防止过拟合，所述改进的SqueezeNet骨干网络输出一系列卷积特征图至特征金字塔网络进行下一步计算。

更进一步地，抽取骨干网络SqueezeNet中的fire2、fire6、fire5和conv10四个尺度以构建特征金字塔网络，经过特征金字塔网络处理后，在每一个尺度上分别输出预测的结果。