[发明专利]一种基于改进胶囊网络与算法的手势图像分割与识别方法

权利要求书

1.一种基于改进胶囊网络与算法的手势图像分割与识别方法，其特征在于，所述方法包括如下步骤：

步骤1：拍摄和收集复杂背景下的手势图像，对所有图像的手势轮廓进行人工标注并生成标签图，再将原图和标签图进行图像增强处理；

步骤2：用经过图像增强后的图像对U型残差胶囊网络进行训练，把复杂背景下的手势图像输入训练好后的U型残差胶囊网络分割出二值化手势图像；

步骤3：将步骤2中分割出来的二值化手势图像经过图像定位得到矩形包围框，把包围框所对应的原图和分割图相乘最终得到分割出来的手势图像；

步骤4：利用不同手势形状的手势图像训练改进矩阵胶囊网络，输出训练好的改进矩阵胶囊网络模型，将步骤3分割出的手势图像输入改进矩阵胶囊网络模型，使用改进矩阵胶囊网络模型分类出每种不同的手势，实现手势图像的识别；

所述步骤2中U型残差胶囊网络由胶囊卷积层和胶囊残差块组成，U型残差胶囊网络的左侧部分使用胶囊卷积层和胶囊残差块对图像进行提取深层特征，U型残差胶囊网络的下面使用两个胶囊残差块作为中间层，U型残差胶囊网络的右侧部分使用胶囊反卷积层进行上采样放大图像，并把U型残差胶囊网络的左侧提取的特征拼接到右侧再进行提取特征，最终输出端还原回原图像大小的手势分割图；

所述胶囊卷积层的原理算式为：

u_i|j＝w_iju_i (1)

式中输入胶囊u_i进乘以姿态调节向量w_ij得u_i|j；

动态路由公式为：

b_ij＝b_ij+u_i|j·v_j (5)

其中，c_ij为动态路由耦合系数(即概率向量)，b_ij初始化为0，s_j是所有预测向量和概率向量的加权之和；

将公式(1)带入动态路由公式(2-5)循环训练3次；

所述胶囊残差块由两块胶囊卷积层组成，先把输入进行批标准化，再输入到两个胶囊卷积层，第二层胶囊卷积层输出后再进行批标准化，两路输出相加再输出结果；

所述步骤4中矩阵胶囊网络由普通卷基层、主胶囊层、胶囊卷积层和胶囊分类层组成，矩阵胶囊网络则是把每个神经元向量做成一个n*n大小的姿态矩阵，矩阵胶囊网络最后两层的卷积胶囊层用于实现卷积、姿态变换以及以EM动态路由三个步骤，使用EM算法实现了聚类过程，E步具体算式为：

其中，x_i为输入的投票向量，a_j代表为第j类的高斯混合系数，代表数据x_i在第j类的高斯分布，分母代表k个混合高斯分布之和，最终求得后验概率p(j|x_i)；

M步的公式为：

由公式(7-8)实现了按样本加权平均来估计第j类的均值，由公式(7-9)求得方差值，并由一下公式求得熵cost_j，

若熵值越小则属于第j类，使用sigmoid函数将值压缩到0到1之间作为激活函数，即高斯混合系数：

a_j＝sigmoid(λ(β_a-cost_j)) (11)

式中选择加入λ是退火策略，该值作为温度值的倒数，随着训练次数的增加，温度下降让λ慢慢增大，使得激活函数也增大；

每层胶囊层都分配有公式(10-11)中的参数β_a和β_μ，该参数通过反向传播进行训练，公式(,6-11)选择3次迭代次数，实现动态路由处理。

2.根据权利要求1所述的一种基于改进胶囊网络与算法的手势图像分割与识别方法，其特征在于：所述步骤3中图像定位的具体过程为先进行图像模糊去噪，用9*9内核的低通滤波器平滑图像，每个像素替换为该像素周围像素的均值，去除分割图的噪声，然后图腐蚀去斑处理去除大点的白色斑块，算出腐蚀剩下目标的轮廓区域，根据轮廓区域求得最大边框，根据最大边框裁剪出原图和二值化图，最终将这两图合并得到彩色手势图像。