[发明专利]一种跨媒体间信息分析与检索的方法

说明书

技术领域

本发明涉及多媒体信息数据检索领域，特别是一种跨媒体间信息分析与检索的方法。 

背景技术

多媒体是文字、图像、音频和视频等的综合体，这些不同类型的多媒体数据表达了丰富多彩的语义。多媒体文档研究面临的几大难题：（1）由于不同模态间的多媒体数据通常是无结构或半结构化的，不同模态间的多媒体数据底层特征因维数不同、属性不同而造成内容异构性和不可比性，使得底层特征与高层语义之间存在语义鸿沟，大大加剧了不同模态间跨模态检索的难度。（2）模态间的相关性弱。不同类型的多媒体数据从视觉、听觉等不同角度共同表达了多种相关信息，多模态数据之间不仅具有相关性，还具有互补性，如何利用这些关系修正不同类型的多媒体数据之间的相关性还是一个挑战。（3）检索效率低下。（4）在用户标注的过程中，文本标注随着用户的不同而呈现一定的个性，受主观因素影响较大，因而存在不一致和不准确的情况，影响检索效率。 

随着数字成像、数据存储和互联网等技术的发展，对大规模多媒体数据进行有效的组织、索引和检索成为该领域的重要课题。中国专利“基于多模态信息融合分析的跨媒体检索方法”，专利号CN200610053392.3提供了一种检索方法。然而现有的多媒体检索系统大都只能检索包含单一模态的多媒体数据库，或虽能处理多模态的媒体数据，大多数是利用一种模态来提高另一种模态的效率，却不支持跨媒体的检索，即根据一种模态的多媒体对象检索到其他模态的多媒体对象。目前还没有较成熟的跨媒体检索算法和技术，即便是多媒体文本标注随着用户的不同而呈现一定的个性，受主观因素影响较大，因而存在不一致和不准确的情况，影响检索效率。跨媒体检索需要处理不同模态的媒体数据。例如：一个128维的视觉特征向量和一个21维的听觉特征向量，两者可能都表达了相似的语义概念，如爆炸和画面与爆炸的声音，但是计算机却很难根据两个特征向量度量两者在语义层面上的相关程度。因此，对于图像和音频这种非结构化、难以应用文本描述的多媒体数据，需要研究新的方法以挖掘两者间所蕴涵的相关性。从而使检索多样化，智能化。 

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种跨媒体间信息分析与检索的方法。 

1)对多模态信息进行预处理，即语义融合处理； 

2）根据概率潜在语义分析模型扩展得到用于处理连续特征向量的多层连续概率潜在语义分析模型MC-PLSA (Multilayer-Continuous Probability Latent Semantic Analysis，简称MC-PLSA)，关联参数间的关系；概率潜在语义分析模型为现有技术。 

3)采用不对称学习方法学习多层连续概率潜在语义分析模型，计算图像的视觉特征向量分布、音频的听觉特征向量分布及主题概率分布； 

4)用户提交测试的媒体对象作为检索例子，计算检索例子中图像、音频的模态内和模态间的初始相似度值； 

5)构建传播模型，根据传播模型更模态内和模态间的相似度值； 

6)根据更新后的相似度值进行二次检索； 

所述的对多模态信息进行预处理，即语义融合处理，其步骤如下： 

a)采集图像库、音频库：图像和音频的类别数、每类的个数相同；将音频分割为时间长度为5~10s的片段音频，分割的音频片段长度取决于所采集音频间的空白、规律性噪声等的分布情况；把图像库和音频库整体分为训练集和测试集，例如，其中图像、音频各采用5000幅/片段作为训练集，余下1000幅/片段作为测试集。 

b)提取所有训练集中图像和音频的特征，并生成多媒体文档D_c，包括如下步骤： 

提取训练集中所有图像的SIFT(Scale-Invariant Feature Transform，SIFT)特征，令视觉特征向量个数为N_I，用N_I个128维的视觉特征向量的集合表示每个图像d^I，若图像d^I中含该视觉特征向量则该维度值为1，否则为0，即每幅图像都是由一组0、1值所组成的视觉特征向量组成的；