[发明专利]一种基于类马氏相关性度量的跨媒体检索方法

说明书

本发明公开了一种基于类马氏相关性度量的跨媒体检索方法，包括以下步骤：输入文本、图像数据库；把文本和图像都分为训练集与测试集；对文本和图像的训练集与测试集提取特征，得到训练特征集与测试特征集；把文本和图像的特征集的数据统一到同一子空间；应用类马氏距离公式计算统一到同一子空间后文本和图像测试集之间的相关性；根据文本和图像本身所属的类和马氏距离，用平均精确度指标和召回率指标确定检索精度。本发明通过W‑CCA算法找到文本和图像的特征数据集的公共最大特征子空间，并将文本和图像的训练集与测试集映射到该特征子空间，从而将文本和图像的特征集的数据统一到同一子空间，解决了维度灾难问题并最大化地保留了原有数据的最大特征。

技术领域

本发明涉及一种跨媒体检索方法，特别涉及一种基于类马氏相关性度量的跨媒体检索方法。

背景技术

跨媒体检索是近年来提出的一个新的概念，传统的检索方式基本都是单模态检索，即文本检索文本，图像检索图像，音频检索音频或视频检索视频，最典型的代表是百度、google、yahoo等商业大众信息检索引擎和酷狗、youtube等音乐和视频检索平台，它们的实现都是在文字标注的基础上实现的。因为市场的需求，跨媒体检索成为近年来的研究热点。跨媒体在多媒体的基础上利用各种媒体的形式和特征对相同或相关的信息用不同的媒体表达形式进行处理，由此达到存储、检索和交换等目的。在跨媒体信息环境下，用户提交一种媒体对象作为查询示例，检索系统可以返回不同种类的其它媒体对象，以满足客户的多种感官体验，如利用图像示例检索语义相关的音频或视频片段。

跨媒体间的相关性是指同一事物的不同模态的媒体在底层特征上存在潜在相关性，通过对这些数据用特定的数据方法关联，可得到它们之间相关性的度量，最终的检索结果根据相关性高低排序。

由于跨媒体检索涉及到不同媒体的底层特征数据的提取和不同模态间的数据关联，所以存在以下技术难题：1)不同数据集特征提取维度的选取是一个棘手的问题；2)不同模态的媒体特征提取之后的维度不同，可通过统一到同一子空间，来解决“维度灾难”；3)由于跨媒体检索数据量大，传统的欧式距离相关性度量方法算法复杂度高，检索速度慢。

发明内容

为了解决上述技术难题，本发明提出一种时间复杂度低、能够解决维度灾难问题的基于类马氏相关性度量的跨媒体检索方法。

本发明解决上述难题的技术方案是：一种基于类马氏相关性度量的跨媒体检索方法，包括以下步骤：

步骤一：输入文本、图像数据库；

步骤二:将文本、图像数据库中的文本和图像分别存入不同文档，并把文本和图像都分为训练集和测试集；

步骤三:对文本和图像各自的训练集和测试集提取特征，得到文本和图像各自的训练特征集和测试特征集；

步骤四:把文本和图像的特征集的数据统一到同一子空间；

步骤五:应用类马氏距离公式计算统一到同一子空间后文本和图像测试集之间的相关性；

步骤六:根据文本和图像本身所属的类和步骤五所得的马氏距离，用平均精确度指标和召回率指标确定检索精度。

上述基于类马氏相关性度量的跨媒体检索方法，所述步骤二中，文本、图像数据库中文本、图像对的数量为P，文本和图像的训练集的样本量均为n，文本和图像的测试集的样本量均为m，步骤二具体步骤为：

文本数据集作为一个子目录存储于文本图像数据库文件下，且文本数据集文档目录下包含训练集和测试集两个子目录，文本训练集样本量占整个文本数据集样本量的75％，文本测试集样本量占文本数据集样本量的25％；

图像数据集作为一个子目录存储于文本图像数据库文件下，且图像数据集文档目录下包含训练集和测试集两个子目录，图像训练集样本量占整个图像数据集样本量的75％，图像测试集样本量占图像数据集样本量的25％。