[发明专利]面向知识图谱的跨媒体检索系统

说明书

为了满足跨媒体语义描述和知识获取的需要，有效利用知识图谱中涵盖的跨媒体属性及各种关联，本发明提出建立跨媒体属性感知模型，对跨媒体数据中蕴含的自然属性和社会属性进行感知和关联分析，建立一种统一的跨媒体数据关联描述机制，对不同类型的关联关系进行统一量化表达；提出将知识图谱涵盖的不同形态的数据映射到同一个语义空间的方法，实现语义知识一致性表达；针对用户以自然语言、多媒体样例或者不同类型媒体数据组合表达的查询请求，提出借助知识图谱中涵盖的各种关联对用户查询进行语义分析来理解用户检索意图，从而检索出更加符合用户查询需求的相关结果的方法；提出引入知识图谱的跨媒体检索系统架构和实现方法。

技术领域

本发明属于信息检索技术范畴，具体为面向知识图谱的跨媒体检索系统。在跨媒体检索中引入知识图谱有助于获得各种维度的情境数据，甚至通过进一步推理来发现不同情境下的特征，从而能够更好地理解用户查询内容的语义，返回更加满足用户需求的检索结果。

背景技术

当前，全球网络的发展和普及已经达到空前的规模，人们已经习惯于在互联网上查找各种信息，搜索引擎已成为互联网的中心。国内各个互联网巨头正不遗余力地完善自己的搜索引擎，国家“核高基”科技重大专项也将“新一代搜索引擎与浏览器”列为“十二五”期间支持的重要发展方向。但是互联网上的信息正在呈指数级增长，而且类型多样，各种媒体形式的信息之间存在错综复杂的关联，这些交叉关联使得互联网数据呈现出了跨媒体特性，而这种跨媒体特性对互联网信息分析与检索提出了更高的要求。由于将知识图谱引入跨媒体检索系统后，有助于获得各种维度的情境数据，更好地支持用户以自然语言、多媒体样例或者不同类型媒体数据组合来表达检索意图，还可以通过进一步推理来发现不同情境下的特征，实现更加准确的用户查询语义分析和检索。因此，本发明从知识图谱的角度出发给出了跨媒体检索系统的实现方案。

知识图谱是谷歌在2010年收购了开放式数据库公司Metaweb后发展而来的。Metaweb当时主要专注于将不同文字表述与同一个实体连接起来，并探索这些实体的属性(例如明星的年龄)以及彼此之间的联系，最终提供一种新的搜索形式。虽然不能完全替代关键词搜索，但Metaweb的索引、搜索方法在处理自然语言的查询时更高效。同样，在跨媒体检索中，借助知识图谱，也可以更好地理解用户的查询请求并总结出与查询需求语义相关的内容，为用户找出更加准确和更有深度的相关信息。此外，知识图谱还会帮助用户了解事物之间的关系。当用户以自然语言、多媒体样例或者不同类型媒体数据组合表达的查询请求时，这样的一个查询请求可能会代表多重含义，知识图谱能够理解其中的差别，并可以将搜索结果范围缩小到用户最想要的那种含义。再者，由于知识图谱构建了一个与搜索结果相关的完整的知识体系，融合了很多学科，把与用户查询语义相关的知识体系系统化地展示给用户，所以在检索时用户可能会了解到某个新的事实或新的联系，促使其进行一系列全新的搜索查询，让搜索更有深度和广度。因此，将知识图谱引入跨媒体检索中对于改进检索性能具有重要作用。

因此，本发明以面向知识图谱的跨媒体检索关键技术为研究对象，提出了跨媒体属性的感知模型和多种关联统一量化表达、跨媒体知识的一致性表达和基于知识图谱的用户查询语义分析方法以及面向知识图谱的跨媒体检索系统的实现方案。在信息检索领域，从当前国内外发展情况来看，面向知识图谱和跨媒体已经成为必然趋势，因此本发明具有非常大的实际应用价值以及广阔的应用前景。

发明内容

本发明的目的在于提供一个跨媒体信息检索工具，在跨媒体检索中引入知识图谱，基于知识图谱上涵盖的跨媒体语义关联和知识进行语义分析和推理，实现跨媒体检索。具体来说，本发明内容包括以下几点。