[发明专利]一种视觉词汇的上下文描述子生成方法

摘要

本发明涉及一种视觉词汇的上下文描述子生成方法。本发明包括离线学习、上下文描述子生成和上下文描述子相似性计算。离线学习用于视觉词汇词典的构建和视觉词汇的评价。上下文描述子生成步骤如下：1.局部特征点的提取和特征描述子的量化；2.上下文的选择；3.上下文中局部特征点的特征提取和上下文描述子的生成。上下文描述子相似性计算依据上下文描述子中局部特征点的方位、主方向和视觉词汇一致性来验证两个上下文描述子中的局部特征点是否匹配，并通过匹配的视觉词汇的反文档频率的和来评价两个上下文描述子的相似性。本发明构建的上下文描述子能够适应图像裁剪、旋转、尺度缩放等变换带来的影响，可用于基于视觉词汇的图像检索和分类等应用中。

主权项

1.一种视觉词汇的上下文描述子生成方法，其特征在于包括如下三部分：离线学习部分、上下文描述子生成部分和上下文描述子相似性计算部分；所述的离线学习部分包括视觉词汇词典的构建和视觉词汇反文档频率的获取；所述的上下文描述子生成部分包括提取和量化局部特征点、选择局部特征点的上下文、提取上下文中局部特征点的特征并生成描述子；所述的上下文描述子相似性计算部分包括视觉词汇的扩展、基于反文档频率和视觉词汇扩展的相似性计算和基于阈值的上下文一致性验证；上述的三个部分相互关联，离线学习部分得到的视觉词汇词典用于上下文描述子生成部分中的局部特征点描述子特征向量的量化和视觉词汇的扩展，视觉词汇反文档频率用于上下文描述子的相似性计算；上下文描述子相似性计算部分是上下文描述子在应用中的必要步骤；所述的视觉词汇词典的构建和视觉词汇反文档频率的获取，具体步骤如下：2‑1.提取图像库中图像的局部特征点及其特征描述子，将提取的特征描述子构建成样本库；2‑2.通过样本库获得视觉词汇词典；具体的，对样本库中特征描述子的特征向量进行分组，在每个特征组上通过K均值聚类得到K个类中心，每个类中心为一个特征向量即代表视觉词汇中的一个词根，K个类中心为该特征组的词根集合；从而在每个特征组上构建的词根集合进行组合得到视觉词汇词典；2‑3.对样本库中的局部特征描述子根据视觉词汇词典采用分组量化方法得到视觉词汇，再通过统计获得视觉词汇的反文档频率；视觉词汇VWi的反文档频率IDF(VWi)是通过统计样本库中视觉词汇的文档频率的倒数得到，其作为视觉词汇重要性的指标；由于一些视觉词汇在样本库中并不一定存在，对不存在的视觉词汇用样本库中视觉词汇反文档频率的最大值进行填充；该填充方法表达了视觉词汇的出现频率越低带有的信息量越大这一特性；所述的上下文描述子生成的具体步骤如下：3‑1.对输入图像提取局部特征点集合S＝{Pi，i∈[0，Q]}，Q为输入图像中局部特征点的个数，Pi指代第i个局部特征点；并依据视觉词汇词典通过分组量化方法将局部特征点Pi的特征描述子量化为视觉词汇VWi；具体步骤如下：3‑1‑1.从图像中提取局部特征点Pi的特征描述子Fi、位置(Pxi，Pyi)、尺度σi和主方向θi信息，即局部特征点Pi表示为[Fi，θi，σi，Pxi，Pyi]；3‑1‑2.对每个局部特征点Pi的特征描述子Fi依据视觉词汇词典采用分组量化方法得到视觉词汇；依据视觉词汇词典的分组量化是将特征描述子Fi分成M组，每组为D/M个特征，其中D为特征描述子Fi特征向量的维数；然后对每组的特征向量根据步骤1‑2训练好的视觉词汇词典单独量化为Vj，则采用分组量化得到特征描述子Fi的视觉词汇VWi为：其中，L为视觉词汇词典中对应组的词根数；从而一个局部特征点Pi被表示为[VWi，θi，σi，Pxi，Pyi]；每组特征向量的量化通过在该组的词根集合中基于欧式距离查找最近的类中心，并将该类中心的下标作为其量化结果；3‑2.对每个局部特征点Pi从输入图像的局部特征点集合S中选取N个局部特征点作为Pi的上下文Context(Pi)；根据局部特征点Pi与输入图像中其它局部特征点Pj的距离和尺度差的加权和D(Pi，Pj))来评价Pi与Pj关系的稳定性，D(Pi，Pj)越小两者的关系越稳定，越不容易受到图像变换的影响；D(Pi，Pj)的计算公式为：其中，和max(σ)是归一化因子，Img_W和Img_H分别指代图像宽度和高度；w和(1‑w)分别为距离和尺度差的权重；选取D(P_i，P_j)最小的N个局部特征点C_k作为P_i的上下文，即：Context(pi)＝{Ck，k∈[1，N]，Ck∈S}；3‑3.根据局部特征点Pi的主方向生成上下文中每个局部特征点Ck的特征并量化；具体包括如下步骤：3‑3‑1.提取上下文中局部特征点C_k的方位特征：α(k)＝|arctan2(Py_k‑Py_i，Px_k‑Px_i)‑θ_i|，然后量化为A为量化因子；arctan2(Py_k‑Py_i，Px_k‑Px_i)表示特征点k相对特征点i的方位；方位特征中减去特征点i的主方向可保证该特征对图像的旋转鲁棒；3‑3‑2.提取上下文中局部特征点C_k的主方向特征：β(k)＝|θ_k‑θ_i|，量化为B为量化因子主方向特征中减去特征点i的主方向可保证该特征具有旋转不变性；3‑3‑3.根据Ck的方位特征、主方向特征和视觉词汇生成上下文描述子为：{qd(k)，qa(k)，VWk，k∈[1，N]}，并序列化为上下文描述子用于构建图像索引；序列化就是将N个上下文中特征点的特征按一定的规则排列，并用字节序列进行表示和存储。