[发明专利]一种基于XML的交互应用多媒体信息检索方法

权利要求书

1.一种基于XML的交互应用多媒体信息检索方法，其特征在于，该方法将XML文档检索技术与基于内容的多媒体检索相结合起来，将多媒体信息的外部特征及其高级语义信息以XML文档形式的描述，形成XML文档系统，并对这些描述性的XML文档进行科学有序地存储，检索时与基于内容的多媒体检索系统相结合，检索结果按一定的权重结合，形成的最终结果按相关度递减的顺序提供给用户。

2.根据权利要求1所述的方法，其特征在于，该发明包括多媒体信息处理子系统单元和多媒体信息检索子系统单元；所述多媒体信息处理子系统单元一方面负责获取各类多媒体资源的元信息并用XML文档加以描述，建立XML文档系统；另一方面对多媒体数据进行基于内容特征的提取，为基于内容的多媒体信息检索提供多层次数据源；所述多媒体信息检索子系统单元负责分析用户提交的请求，分别在XML文档系统和多媒体的媒体库、特征库、知识库中进行检索，将两个系统中检索出来的结果按照某一权值进行合并，然后将最终结果反馈给用户。

3.根据权利要求1或2所述的方法，其特征在于，XML文档对多媒体信息进行描述的流程如下：

步骤31：多媒体信息标识和特征提取；

步骤32：对用于描述多媒体信息的XML文档的结构进行定义；

步骤33：XML文档系统建立；

其中，步骤31中多媒体信息的对象标识主要是通过相关工具箱的辅助，以全自动或半自动需要用户部分干预的方式对音频、静态图像、视频镜头等数据中包含的对象进行标识，以便针对对象进行特征提取、描述和查询；多媒体的对象标识属于局部特征处理，如果是针对多媒体数据进行整体内容检索，通常只需要提取全局特征，而不需要对象标识功能；特征提取是指对音频、视频、图像等多媒体数据自动或半自动提取用户感兴趣的，适合检索要求的特征；特征提取有全局性的，也有局部性的，对于图像信息的特征提取主要是提取图像的颜色、纹理、轮廓、形状、位置、空间特征；对于视频信息，是提取关键帧、运动目标特征和运动摄像视频特征；对于音频信息，是提取音频媒体特征；

步骤33中每个多媒体信息对应于XML文档一个resource节点，而多媒体的各种元信息通过resource节点包含的多个子节点，包括Title、size、Format、nescription描述出来，从而多媒体系统转换成XML文档系统，并将多媒体与相应的XML映射提供查询。

4.根据权利要求1或2所述的方法，其特征在于，多媒体信息检索子系统检索方法流程如下：

步骤41：XML文档的检索；

步骤42：多媒体的多特征融合检索；

步骤43：XML文档检索与基于内容的多媒体检索的结合；

其中，步骤41中，在XML文档系统中，用户对多媒体信息的检索转换成对XML文档进行检索；具体的检索方式有以下三种：a.基于导航浏览式的检索；b.关键词检索；c.全文检索；

步骤42中，多特征融合检索是先进行基于单个特征的多媒体检索，对多个单特征检索返回的结果依照一定的算法，将它们在各个特征上的相似性测度进行合并，然后按合并后的综合相似性度量对这些结果进行排序反馈给用户；

步骤43中，对于两个系统检索出来的结果，分别赋予一定的权重相结合，形成最终结果反馈给用户；用户对该检索结果给出满意或不满意评价，并把此评价反馈给系统，系统从用户反馈中分析出用户的查询需要，并自动调整权重参数和特征查询参数，形成新一轮查询；如此循环，直到用户满意为止。