[发明专利]融合纹理特征与形状特征的时序性的草图识别方法

说明书

本发明属于计算机视觉领域，公开了一种融合纹理特征与形状特征的时序性的草图识别方法。首先，按照草图的笔画顺序获取一个图像序列；其次，提取每个图像的纹理特征和形状特征，形成对应于图像序列的特征序列；然后，将特征输入到包含两个阶段的网络中进行学习，第一阶段的两个循环神经网络分别接受图像的纹理特征和形状特征，第二阶段首先融合上一阶段的输出，然后输入到第三个循环神经网络，最后通过分类器得到结果，如此，按照序列中的顺序进行迭代学习。优点：将几何描述子用于草图识别，同时采用循环神经网络对草图的时序特征进行有效学习，从而显著改善原有识别模型忽视草图形状特征与时序性特征的缺陷，较好地提升草图识别率。

技术领域

本发明属于计算机视觉领域，涉及图像分类任务，特别涉及一种融合纹理和形状特征的时序性的草图识别方法。

背景技术

反映物体主要特征的草图，是人们交流想法的一种有效途径。然而，自动识别笔画顺序多变和风格各异的手绘草图是一个巨大的挑战，以至于近些年来的自动识别率触到了天花板。大多数现行的方法，尤其是基于深度网络的方法，不是忽略了草图的几何特征，把在自然图像识别中取得巨大成功的纹理特征用于草图识别，而忽视了纹理特征在草图中并不太丰富的缺陷；就是把草图当作结构顺序固定的手写字母来处理，忽视了草图区别于其他形状的时序性，或者未能很好地解决手绘顺序有区别的同类草图对结果的扰动。

本发明结合这两个角度，设计了一种序列性双循环神经网络。通过几何描述子揭示草图的形状特征，并采用循环神经网络学习草图的时序性特征，从而弥补了单一纹理特征的缺陷，提高了草图识别率。

发明内容

为了弥补单一纹理特征的不足以更好地识别草图，本发明提供了一种结合纹理特征与形状特征的时序性的草图识别方法。

本发明的技术方案包括如下步骤：

步骤1.获取图像序列

对于每一个草图S，假设它有N个顺序笔画，则S可以表示为(s₁,s₂,...,s_N)。其中，s_i为该草图S的第i个顺序笔画，i为[1,N]之间的整数。建立一个包含P个图像的序列(I₁,I₂,...,I_P)。其中，第t个图像I_t包含了笔画s₁到s_t×N/P，t为[1,P]之间的整数。

步骤2.提取图像特征

对上述图像序列中的每一幅图像I_t，提取图像纹理特征提取图像形状特征

步骤3.利用循环神经网络对草图笔画进行迭代学习

搭建一个包含两个阶段和3个GRU(gated recurrent unit)的网络，如图1所示的每一行。然后，按照图像序列(I₁,I₂,...,I_P)的顺序进行迭代学习。图1中的第t行即为利用图像I_t的纹理特征和形状特征进行第t次迭代学习。

其中，每一步的迭代学习又包含两个阶段：

步骤3‐1第一阶段的2个GRU分别学习了一个从输入序列和到输出和的映射。以形状特征为例，给出如下解释：