[发明专利]一种基于类马氏相关性度量的跨媒体检索方法

权利要求书

1.一种基于类马氏相关性度量的跨媒体检索方法，包括以下步骤：

步骤一：输入文本、图像数据库；

步骤二：将文本、图像数据库中的文本和图像分别存入不同文档，并把文本和图像都分为训练集与测试集；

文本、图像数据库中文本、图像对的数量为P，文本和图像的训练集的样本量均为n，文本和图像的测试集的样本量均为m，步骤二的具体步骤为：

文本数据集作为一个子目录存储于文本图像数据库文件下，且文本数据集文档目录下包含训练集和测试集两个子目录，文本训练集样本量占整个文本数据集样本量的75％，文本测试集样本量占文本数据集样本量的25％；

图像数据集作为一个子目录存储于文本图像数据库文件下，且图像数据集文档目录下包含训练集和测试集两个子目录，图像训练集样本量占整个图像数据集样本量的75％，图像测试集样本量占图像数据集样本量的25％；

步骤三：对文本和图像各自的训练集与测试集提取特征，得到文本和图像各自的训练特征集与测试特征集；具体步骤为：

对文本的训练集和测试集用LDA算法提取K个特征，记训练特征集为X，其中X＝[x₁，x₂，...，x_n]，测试特征集为X_te，其中X_te＝[u₁，u₂，...，u_m]，x_i、u_j都是K维数据，一个特征代表一维，其中i＝1，2，3，...，n、j＝1，2，3，...，m；对图像的训练集和测试集用SIFT算法提取L个特征，记训练特征集为Y，其中Y＝[y₁，y₂，...，y_n]，测试特征集为Y_te，其中Y_te＝[h₁，h₂，...，h_m]，y_i、h_j均为L维数据，其中i＝1，2，3，...，n、j＝1，2，3，...，m；

步骤四：把文本和图像的特征集的数据统一到同一子空间；

步骤四中，用w-CCA算法找到文本和图像的特征数据集的公共最大特征子空间，并将文本和图像的训练集和测试集映射到该特征子空间，记该公共最大特征子空间为w维，映射后的数据x_i、u_j、y_i、h_j的维度映射后均为w维数据，步骤四中w-CCA算法的具体步骤为：

4-1)对矩阵X和矩阵Y做QR分解，X是n×K矩阵，Y是n×L矩阵，X分解成Q₁和R₁两个矩阵，Y分解成Q₂和R₂两个矩阵，其中分解后的矩阵形式为

4-2)用数值方法分别求出Q₁和Q₂的秩Rank₁和Rank₂，取Rank₁和Rank₂的较小值w＝min{Rank₁，Rank₂｝作为公共最大子空间的维度；

4-3)把测试集映射公共最大子空间，对做奇异值分解，分解后得到S、V、D三个矩阵，这三个矩阵分别表示为V是一个K×L对角矩阵，这里假设K＜L，前K行的对角线元素不为零，其余元素都是零，非零元素对应的特征值，

4-4)取出S和D矩阵的前w列得到S′和D′，将R₁和R₂做降维运算得到A和B，即此时A和B的矩阵形式分别为

4-5)将图像和文本的测试特征集映射到公共最大子空间，将文本和图像的测试特征集与降维后的文本和图像的训练特征集的转置A^T和B^T分别做乘法运算得到X′_te和Y′_te，即X′_te＝X_te×A^T、Y′_te＝Y_te×B^T，此时X′_te和Y′_te表示为

步骤五：应用类马氏距离公式计算统一到同一子空间后文本和图像测试集之间的相关性；具体步骤为

5-1)计算X′_te和Y′_te的均值mX和mY，即

5-2)计算X′_te和Y′_te的标准差sX和sY，即

5-3)用标准差估计协方差∑，即

5-4)应用类马氏距离公式计算文本特征测试集和图像特征测试集的相关性，计算公式为D²(X′_te，Y′_te)＝(X′_te-Y′_te)^T∑^-1(X′_te-Y′_te)，计算出的值代表文本测试集和图像测试集的距离，其中∑^-1是X_te和Y_te的协方差矩阵的逆；

5-5)用升序排序算法对距离进行排序，距离越近相关性越高；

步骤六：根据文本和图像本身所属的类和步骤五所得的马氏距离，用平均精确度指标和召回率指标确定检索精度。