[发明专利]一种AR系统手势识别方法

权利要求书

1.一种基于卷积神经网络结合用户习惯性行为分析的AR系统手势识别方法，其特征在于：所述手势识别方法包括以下步骤：

步骤1：用户习惯性手势图像采集

由用户随机提供一组手势，将这组手势作为标准手势，采集该组手势图像，记为标准组；根据标准组手势模型图，构建其对应的实际标签类别；设置不同的标签类别触发相应AR系统指定功能；由用户重复n次上述手势，并采集所得n组手势图像，记为训练样本组；记录用户在AR终端实现人机交互时的N组手势图像，记为测试样本组；

步骤2：手势区域图像检测

分别对步骤1获取的标准组、训练样本组及测试样本组的手势图像进行手势区域图像检测，以实现图像中肤色与非肤色区域的分割；

步骤3：卷积神经网络实现手势特征识别

设计卷积神经网络初步结构模型，用步骤1所得的样本数据训练并测试调整卷积神经网络模型，将步骤2所得二值化图像直接输入所述卷积神经网络；

所述步骤2中，手势区域图像检测步骤包括：

2.1图像RGB模型到HSV模型转换

利用公式(1)实现图像的红R、绿G、蓝B分量到色度H、饱和度S、亮度V分量转换；

max＝max(R,G,B)；

min＝min(R,G,B)； (1)

V＝max(R,G,B)；

S＝(max-min)/max；

2.2计算图像的色度H分量分布

利用公式(2)计算图像的H分量分布：

2.3实现图像二值化分割

利用公式(3)实现图像二值化分割，其中，H_h和H_d分别表示肤色的上、下界阈值；R表示分割后的二值化图像；

所述卷积神经网络由至少一个卷积层、至少一个池化层及一个输出层构成，其中，所述卷积层完成输入特征图与卷积核的卷积操作，卷积核即为权值参数的矩阵，在前一层的特征图滑动卷积核，与原图像重叠的区域进行加权求和，加入偏置值，经激励函数处理得到输出特征图的矩阵；不同输入特征图对应不同的卷积核；输出神经元产生的输出特征图将会形成下一个卷积层的输入特征图；整个过程可由公式(4)表达：

l表示网络的第几层，K为卷积核，M_j为输入特征图的一个选择，每一层有唯一的偏置B，f(x)为激活函数；

对于输入的所述二值化特征图，在每次前向传播之后，经所述初步卷积神经网络模型所得实际输出与期望输出存在一定的误差；定义实际输出与期望输出的均方误差和为误差函数；设K个输出层的期望输出分别为d_k(n)，则单路输出的均方误差为

整个神经网络输出层的均方误差为

根据误差函数采用最速下降法调整网络间的连接权值，每次权值调整量为

其中，0＜μ＜1为学习速率；

对于输出层，其权值调整量为

输出层权值调整公式为

其中，μ₁为输出层学习速率；

对于卷积层及池化层，其权值调整量为

卷积层及池化层权值调整公式为

其中，μ₂为卷积层、池化层的学习速率；

在训练初始阶段选择较大的学习速率，加快收敛速度；在接近收敛时，减小学习速率；避免了因为权值调整幅度过大而产生不收敛或者振荡现象；

其学习速率的变化方式为

其中，α为加入的动量项，μ(n)为可变学习速率，误差的变化量为

ΔE(n)＝E(n+1)-E(n) (14)

ΔE(n)＜0时，α＝α，μ(n)＝μ(n-1)m，m＞1为正向学习因子；

ΔE(n)＞0时，α＝0，μ(n)＝μ(n-1)n，n＜1为负向学习因子；

由此，学习速率可根据实际情况确定，当当前误差梯度修正方向正确，即ΔE(n)＜0，则增大学习速率，即m＞1同时加入动量项α；反之，则减小学习速率，即n＜1，同时α＝0；

损失函数的大小决定了所述卷积神经网络模型的好坏，定义损失函数的期望值为风险函数，以度量平均状态下网络预测错误的程度；记输入为X，预测值为f(X)，实际值为Y，损失函数为f(X)和Y的非负实值函数，记作L(Y,f(X))，由于(X,Y)是随机变量，遵循联合分布P(X,Y)，所以损失函数L(Y,f(X))的期望即风险函数为：

R_exp(f)＝E_p[L(Y,f(X))]＝∫L(y,f(x))P(x,y)dxdy (15)

经过所述初步的卷积神经网络结构模型，得到一系列训练数据集T＝{(x₁,y₁),(x₂,y₂),(x₃,y₃),...,(x_n,y_n)}，关于该训练数据集得到的训练误差的经验风险为：

当经验风险达到最小，所述卷积神经网络模型达到最优状态；

最后，输入训练数据进行仿真验证，确定网络训练完成；

当用户进行AR终端人机交互时，拍摄手势图像，经由步骤2所述方法处理图片，将图片传入训练好的卷积神经网络，得到该图片对应标准手势类别，触发该手势对应指定功能；

用户在不断使用手势进行人机交互同时，记录并保存手势图像，以作为网络训练的样本。