[发明专利]一种基于手部区域预测的深度学习手部检测方法

说明书

本发明公开了一种基于手部区域预测的深度学习手部检测方法，手部分为左手、右手以及交叠双手，该检测方法首先训练一个深度卷积网络，使用训练好的该网络检测复杂背景下视频流第一帧中的手部类别及区域；然后根据由手部运动惯性所产生的手部在时间和空间上的相关性，采用跟踪算法预测第二帧中手部区域，并结合相邻帧差法获取手部遮挡区域以及新出现的手部区域，利用跟踪算法和相邻帧差法所获得的区域构造掩膜，增强图像中感兴趣的部分，形成加入了注意力的帧图片；将此图片输入至训练好的深度卷积网络中检测，得到精准的手部类别及区域；直至最后一帧都采取同第二帧同样的检测方法，实现复杂背景下视频流手部检测。

技术领域

本发明涉及一种检测复杂背景下视频序列中手部的方法，手部分为左手、右手以及交叠双手三种类别，属于视频物体检测领域。

背景技术

在现有的基于视觉的人手检测领域中，主要有特征检测法、模板匹配法、图像差分法等。在手部检测方法中大多数采用手部皮肤颜色[1,2,3,4]、手掌纹理[5,6]以及手部形状[2,4,5,6]等作为检测特征。由于背景复杂(图片含有大量的类肤色区域)、光照变换、人手形状复杂多变以及遮挡干扰多等因素的影响，对于手部一直没有特别稳定且成熟的检测方法。随着深度摄像头(Kinect传感器，华硕提供的Xtion传感器等)的发展，深度信息被大量用于手部检测中[7,8]，深度信息的应用提高了人手检测系统的手部检测率，但依然存在难以很好区分手掌手臂以及手部类别等问题。在手部发生遮挡、手部快速运动以及手与手、手与脸相互接触相互遮挡等情况下，人手检测系统依然存在很多不足。近几年深度学习被广泛应用于物体检测领域，手部检测系统中利用深度卷积网络[9,10,11]提高了手部检测的准确率和鲁棒性。然而对于视频流中手部检测的研究重点主要是图像检测，手部在时间和空间上的相关性没有得到充分的利用，无法很好解决由于人手快速运动、遮挡以及新手部出现所产生的检测困难问题。

[1]Li C,Kitani K M.Pixel-level hand detection in ego-centric videos[C]//Proceedings of the IEEE Conference on Computer Vision and PatternRecognition.2013:3570-3577.

[2]Mittal A,Zisserman A,Torr P H S.Hand detection using multipleproposals[C]//BMVC.2011:1-11.

[3]Bilal S,Akmeliawati R,Salami M J E,et al.Dynamic approach forreal-time skin detection[J].Journal of Real-Time Image Processing,2015,10(2):371-385.

[4]Aziz M A A,Niu J,Zhao X,et al.Using novel shape,color and texturedescriptors for human hand detection[C]//Applied Sciences and Technology(IBCAST),2014 11th International Bhurban Conference on.IEEE,2014:150-157.

[5]Kumar A,Zhang D.Personal recognition using hand shape and texture[J].IEEE Transactions on image processing,2006,15(8):2454-2461.

[6]Bhuyan M K,MacDorman K F,Kar M K,et al.Hand pose recognition frommonocular images by geometrical and texture analysis[J].Journal of VisualLanguagesComputing,2015,28:39-55.