[发明专利]一种视觉词汇的上下文描述子生成方法

说明书

本发明涉及一种视觉词汇的上下文描述子生成方法。本发明包括离线学习、上下文描述子生成和上下文描述子相似性计算。离线学习用于视觉词汇词典的构建和视觉词汇的评价。上下文描述子生成步骤如下：1.局部特征点的提取和特征描述子的量化；2.上下文的选择；3.上下文中局部特征点的特征提取和上下文描述子的生成。上下文描述子相似性计算依据上下文描述子中局部特征点的方位、主方向和视觉词汇一致性来验证两个上下文描述子中的局部特征点是否匹配，并通过匹配的视觉词汇的反文档频率的和来评价两个上下文描述子的相似性。本发明构建的上下文描述子能够适应图像裁剪、旋转、尺度缩放等变换带来的影响，可用于基于视觉词汇的图像检索和分类等应用中。

技术领域

本发明属于计算机图像处理和机器视觉领域，涉及一种视觉词汇的上下文描述子生成方法。

背景技术

基于图像中的局部特征点进行图像的分析、识别和检索是当前图像处理领域的一种重要方式。将局部特征点描述子量化为视觉词汇并用词袋模型来表示图像，是当前图像识别与分类的一类重要方法。词袋模型与倒排索引结构相结合是当前最有效的基于内容的图像检索方式；该图像检索方法可以应对图像的各种编辑和变换，有较好的鲁棒性；另外，基于视觉词汇的倒排索引结构可以在大规模图像库中实现实时的查询要求。但是通过局部特征的描述子量化得到的视觉词汇相对于自然语言中的词汇并没有明确的意义，容易受到噪声的影响。为了能够保证视觉词汇的区分能力要求：词典中视觉词汇数量越多越好；但是越多的视觉词汇导致了其抗噪能力变弱，并且在局部特征量化为视觉词汇时需要耗费更多的计算量。然而，为了消除噪声影响而减少词典中视觉词汇的数量，导致了视觉词汇中广泛存在着多义现象，多义现象是指同一个视觉词汇指向了多个不同的局部图像，使视觉词汇的区分能力降低，同时造成了视觉词汇的高误检率，从而给后面的图像相似度计算带来了困难。针对局部特征量化为视觉词汇后导致的多义问题，有部分的研究者关注到了该问题，并提出了部分的解决方法。

有研究者希望通过建模视觉词汇(局部特征)的空间依赖关系来提高视觉词汇的描述能力。Liu通过两个视觉词汇稳定的空间共现选择二阶视觉词汇特征。Yuan和Zhang提出了视觉词汇短语特征来描述视觉词汇空间共现特性。Li采用文本中N-Gram方式来构建可能的视觉词汇组，然后用chi方统计量来选择代表性的视觉词汇组。然而上述这些方法都是依赖于训练数据来选择共现视觉词汇对，其主要以图像分类和对象检索为目的，并不完全适合包括各种未知对象的图像检索应用。

近年来也有学者研究面向检索领域的局部特征的上下文信息表示问题。Wu通过最大稳定极限区域将视觉词汇组合成Bundle，然后基于Bundle对图像进行索引，并通过Bundle中视觉词汇的匹配实现相似性的度量。该方法依赖于最大稳定极值区域检测的鲁棒性。Zhou采用了紧致的空间编码方法来描述视觉词汇的相互位置关系。但该方法对图像的旋转变换支持不是很理想，需要通过构建多个方向的位置关系来提高对旋转变换的鲁棒性。Zhang在大规模图像下，通过量化视觉词汇的空间关系以及学习语义距离来降低视觉词汇的误检率，但是该方法的效率低。Paradowski提出利用视觉词汇之间的几何关系和拓扑关系来验证近似拷贝图像，利用匹配“视觉词汇对”来求解透视变换参数，再通过投影获得几何相似性。拓扑关系通过上下文视觉词汇的顺序来表示。

针对局部特征量化为视觉词汇后导致的多义现象而造成的匹配准确率较低的问题，本发明方法提出利用视觉词汇在图像中的上下文构建一个上下文描述子进一步增强视觉词汇区分能力。该视觉词汇上下文描述子满足了紧致性和鲁棒性两方面要求，可以应用图像的识别和检索。

发明内容

本发明的目的是针对现有技术的不足，提供了一种视觉词汇的上下文描述子生成方法。

本发明解决其技术问题所采用的技术方案，包括如下三部分：(1)离线学习部分，(2)上下文描述子生成部分，(3)上下文描述子相似性计算部分。

所述的离线学习部分包括视觉词汇词典的构建和视觉词汇反文档频率的获取；