[发明专利]基于多模态信息融合分析的跨媒体检索方法

摘要

本发明公开了一种基于多模态信息融合分析的跨媒体检索方法。利用该方法可以对多模态信息融合分析进行多媒体语义理解，从而实现基于内容的多媒体文档检索、图像检索、声音检索和文本检索。用户可以通过提交任意的模态的检索例子去检索任意模态的媒体对象或者多媒体文档。比如为了检索图像，用户既可以提交图像作为检索例子进行检索，也可以提交声音或者文本或者它们的组合作为检索例子进行检索。由于该方法在进行多媒体语义理解的时候，不仅仅依靠关键字，而是将多媒体文档内全体媒体对象进行融合分析后综合各种模态媒体对象所携带的信息进行语义理解，因此检索效果更好；由于检索例子和返回结果可以是不同模态的，因此功能更强大，适用更广泛。

主权项

1.一种基于多模态信息融合分析的跨媒体检索方法，其特征在于包括如下步骤：1)对多模态信息融合分析，进行多媒体语义理解；2)用户提交数据库内已有的或数据库以外的媒体对象作为查询例子进行检索；3)根据用户的相关反馈，进行二次检索；4)根据用户的相关反馈，对多媒体语义空间进行维护。