[发明专利]基于内容相关性的跨媒体检索方法

摘要

本发明公开了一种基于内容相关性的跨媒体检索方法。采用典型相关性分析，同时分析不同模态媒体数据的内容特征；并通过子空间映射算法，将图像数据的视觉特征向量和音频数据的听觉特征向量同时映射到一个低维的同构子空间中；根据通用距离函数，度量不同模态媒体数据间的相关性大小；此外，结合相关反馈中的先验知识，修正多模态数据集在子空间中的拓扑结构，有效提高了系统的跨媒体检索效率。本发明突破了基于内容的多媒体检索技术对单模态的限制，解决了不同模态媒体数据在底层特征上的异构性问题，实现了相同模态之间和不同模态之间媒体对象的距离统一度量，并且能够借助用户交互过程，更准确、有效地进行跨媒体检索。

主权项

1.一种基于内容相关性的跨媒体检索方法，其特征在于包括以下步骤：(1)从多媒体数据库采集不同模态的对象，即图像和音频数据；(2)提取图像数据的视觉特征，以及音频数据的听觉特征，采用典型相关性分析提取得到的视觉和听觉特征之间的典型相关性；(3)采用同构子空间映射算法，将图像数据的视觉特征向量和音频数据的听觉特征向量同时映射到一个低维的同构子空间中，实现不同模态媒体数据的统一表达；(4)采用极坐标的方式定义通用距离函数，度量不同模态媒体数据间的相关性大小，并以此为依据进行跨媒体检索；(5)基于增量学习的相关反馈机制，用于提取用户交互中的先验知识，以修正多媒体数据集在同构子空间中的拓扑结构；(6)根据子空间映射过程中求取的基向量，或者通过相关反馈机制，将训练集以外的其他媒体对象准确定位到同构子空间中。