[发明专利]融合纹理特征与形状特征的时序性的草图识别方法

权利要求书

1.一种融合纹理特征与形状特征的时序性的草图识别方法，包括以下步骤:

步骤1.获取图像序列

对于每一个草图S，有N个顺序笔画，将S表示为(s₁,s₂,...,s_N)；其中，s_i为该草图S的第i个顺序笔画，i为[1,N]之间的整数；建立一个包含P个图像的序列(I₁,I₂,...,I_P)，其中，第t个图像I_t包含了笔画s₁到s_t×N/P，t为[1,P]之间的整数；

步骤2.提取图像特征

对上述图像序列中的每一幅图像I_t，提取图像纹理特征提取图像形状特征

步骤3.利用循环神经网络对草图笔画进行迭代学习

搭建一个包含两个阶段和3个GRU的网络；然后，按照图像序列(I₁,I₂,...,I_P)的顺序进行迭代学习；其中，第t行即为利用图像I_t的纹理特征和形状特征进行第t次迭代学习；

其中，每一步的迭代学习又包含两个阶段：

步骤3-1第一阶段的2个GRU分别学习了一个从输入序列和到输出和的映射；以形状特征为例，给出如下解释：

其中，和表示GRU的输入和输出，h_t是GRU的隐藏状态，并由其他三个门单元r_t、z_t、和决定；操作符⊙表示向量的对应元素相乘；W_*和U是权重矩阵，b_*是GRU的权重向量；同理，将另一个GRU将纹理特征映射到

步骤3-2在第t次迭代学习中，第二阶段的输入是(y_texture^Ty_shape^T)^T，输出则为其中，首先将线性函数W(y_texture^Ty_shape^T)^T+b应用于第二阶段的开始位置，W的维度为256*128，用以融合被记忆的纹理特征和形状特征；然后将融合后的特征输入第3个GRU网络；而第二阶段GRU的输出则与最终作为分类器的softmax层进行稠密连接，得到分类结果。

2.根据权利要求1所述的融合纹理特征与形状特征的时序性的草图识别方法，其特征在于，所述步骤1中，P＝5。

3.根据权利要求1所述的融合纹理特征与形状特征的时序性的草图识别方法，其特征在于，所述步骤2中，使用Sketch-A-Net模型提取图像纹理特征

4.根据权利要求1所述的融合纹理特征与形状特征的时序性的草图识别方法，其特征在于，所述步骤2中，使用Shape Context提取图像形状特征

5.根据权利要求4所述的融合纹理特征与形状特征的时序性的草图识别方法，其特征在于，对于形状特征的提取有如下步骤：

步骤2-1对每一个笔画应用形状上下文作为几何描述子，且每个笔画上采集5个特征点；

步骤2-2对形状特征进行k-means聚类，聚类中心作为codebook；

步骤2-3使用其中M个聚类中心作为描述整个笔画空间的原型；并使用局部约束线性编码LLC生成最终编码了的笔画表示；

步骤2-4将maxpooling应用于全部笔画特征，获取更具有区分性的500维的特征向量。