[发明专利]面向图像语义标注的规则库结构优化与生成方法及系统

说明书

技术领域

本发明涉及图像语义标注，尤其涉及一种面向图像语义标注的规则库结构优化与生成方法及系统。

背景技术

随着图像数量的急剧增长，图像已充斥整个网络。如何有效地检索和利用如此大规模的海量图像，以便用户能够快速、有效地找到感兴趣的图像资源，已成为当前极具挑战的任务。然而，作为图像检索的重要环节，语义标注的准确度决定着图像检索的效果。基于语义的图像检索能够弥补基于文本、基于内容的图像检索两种方案的缺陷，使检索结果与用户所需信息尽可能一致。

常用的图像语义标注方法有两种：一种是概率模型方法，另一种是模式分类方法。前者建立图像与关键词之间的联合概率分布，将具有最大概率的语义概念标注到相应的图像上，以此实现图像语义的自动标注；后者将每个未标注的图像分类到某个类别，再将该类别的语义概念传递到未标注图像上，从而实现图像语义的自动标注。这两种方法虽然已得到广泛的应用，但仍存在如下不足：

(1)一般而言，图像与语义概念之间的联合概率分布不能反映两者之间的实际分布，因此，依据概率模型的语义标注方法并不能取得理想的标注效果。

(2)为了获得图像与语义概念之间的联合概率分布，需要进行参数估计，参数估计的过程往往很复杂，且时间代价过高。

(3)模式分类方法虽然有较强的泛化能力，但这种方法属于黑箱操作，无法产生人类可以理解的标注过程。

本发明针对现有图像语义标注方法的不足，研究了一种面向图像语义标注的规则库结构优化与生成方法，扩展了已有研究的成果。

发明内容

本发明要解决的技术问题在于针对现有技术中的上述缺陷，提供一种可以避免复杂的参数估计运算，提供人类可理解的标注过程的面向图像语义标注的规则库结构优化与生成方法及系统。

本发明解决其技术问题所采用的技术方案是：

提供一种面向图像语义标注的规则库结构优化与生成方法，包括以下步骤：

利用图像分割算法对给定的原始训练样本集中的每幅图像进行分割，每个分割子区域均由低层视觉特征表示，并定义每个分割子区域的语义概念，对分割子区域进行聚类，对不同类别的分割子区域的语义概念进行合并，得到具有新的语义概念的所有类别的分割子区域集合，将其作为待过滤训练样本集；通过前馈神经网络对待过滤训练样本集进行分类，删除分类错误的样本，将剩余分类正确的样本作为初始训练样本集；

将每个初始训练样本用向量表示成粒子的位置，构成粒子群；按照量子粒子群优化方法优化粒子群，并输出粒子的最优位置，对输出粒子的每一维的值与阈值比较，小于阈值的取为0，大于等于阈值的取为1，与1对应的特征集合为所选择的特征子集，得到经过特征选择后的起点训练样本集；

按照起点训练样本集自身的特性选择分裂特征，用分裂特征分割起点训练样本集，得到若干训练样本子集，对分割后的每个训练样本子集，递归地获得它的分裂特征，并再次用分裂特征分割训练样本子集，直到所有训练样本子集的元素属于相同类为止，得到终点样本子集；

将起点样本集到终点样本子集的每条路径转换为一条标注规则，从起点样本集到终点样本子集的所有路径构成的规则集就是规则库。

本发明所述的方法中，利用生成的规则库对图像进行标注的步骤为：

将待标注的图像通过分割算法得到多个分割子区域；

提取每个分割子区域的低层视觉特征，按照预先选择的特征子集重新表示分割子区域；

根据预先生成的规则库，将待标注图像的特征子集输入到规则库，得到语义概念集，该语义概念集就是待标注图像的语义。

本发明所述的方法中，生成具有新的语义概念的所有类别的分割子区域集合的具体步骤为：

对训练样本集中所有图像的分割子区域按照低层视觉特征进行聚类；

将具有相同类别的分割子区域的聚类中心作为该类别的代表，而将所有语义概念进行合并，得到该类别的语义概念集；

将所获得的具有新的语义概念的所有类别的分割子区域集合作为待过滤训练样本集，所有语义概念构成词汇表。

本发明所述的方法中，前馈神经网络的输入为待过滤训练样本集，前馈神经网络的输出为词汇表。

本发明所述的方法中，所述前馈神经网络为多层前馈神经网络。

本发明还提供了一种面向图像语义标注的规则库结构优化与生成系统，该系统包括：