[发明专利]实现面向图像理解的视觉单词生成和评价的系统及方法

摘要

本发明涉及一种实现面向图像理解的视觉单词生成和评价的系统及方法，其中包括特征提取器，用以提取视频图像的局部特征和全局特征；特征融合器，用以将提取出的局部特征信息和全局特征信息进行融合得到融合特征信息描述矩阵；特征降维器，用以运用主成分分析方法对所述的融合特征信息描述矩阵进行降维处理；视觉词典生成器，用以对降维后的融合特征信息矩阵进行处理生成视觉词典；性能评估器，用以对所述的视觉词典的优劣性进行评价。采用该种结构的实现面向图像理解的视觉单词生成和评价的系统及方法，实现结合局部特在和全局特征，缓解维护灾难问题，计算复杂度更小，能在任意形状的样本空间上聚类且收敛于全局最优解，具有更广泛应用范围。

主权项

1.一种实现面向图像理解的视觉单词生成和评价的系统，其特征在于，所述的系统包括：特征提取器，用以提取视频图像的局部特征和全局特征；特征融合器，用以将提取出的局部特征信息和全局特征信息进行融合得到融合特征信息描述矩阵；特征降维器，用以运用主成分分析方法对所述的融合特征信息描述矩阵进行降维处理；视觉词典生成器，用以对降维后的融合特征信息矩阵进行处理生成视觉词典；性能评估器，用以对所述的视觉词典的优劣性进行评价；所述的实现面向图像理解的视觉单词生成和评价的系统，其中，进行所述的面向图像理解的视觉单词生成和评价，所述的系统进行以下处理：(1)所述的特征提取器提取视频图像的局部特征和全局特征，具体包括以下步骤：(1‑1)所述的特征提取器采用尺度不变特征变换方法提取视频图像的尺度不变转换特征来对图像的局部特征信息进行描述；(1‑2)所述的特征提取器采用傅里叶形状描述符对形状特征进行描述来对图像的全局特征信息进行表示，具体包括以下步骤：(1‑2‑1)对给定物体的图像采用Canny边缘检测子得到对前景物体的外部轮廓描述；(1‑2‑2)利用边界曲线的多边形近似方法快速计算傅里叶描述子；(1‑2‑3)在前景外部轮廓的基础上，采用傅里叶形状描述子对前景轮廓形状进行描述并通过形状的主方向消除边界起始点相位影响；(2)所述的特征融合器将提取出的局部特征信息和全局特征信息进行融合得到融合特征信息描述矩阵，具体为：所述的特征融合器采用矩阵相加求平均法和矩阵列连接方法对提取出的局部特征信息和全局特征信息进行融合得到融合特征信息描述矩阵；(3)所述的特征降维器运用主成分分析方法对所述的融合特征信息描述矩阵进行降维处理；(4)所述的视觉词典生成器对降维后的融合特征信息矩阵进行处理生成视觉词典，具体包括以下步骤：(4‑1)所述的视觉词典生成器采用层次聚类方法对降维后的融合特征信息矩阵进行处理得到第一阶段的视觉词典结果；(4‑2)所述的视觉词典生成器采用谱聚类处理第一阶段的视觉词典得到最终的视觉词典；(5)所述的性能评估器对所述的视觉词典的优劣性进行评价。