[发明专利]基于多模态的知识图谱检索系统及方法

说明书

本发明属于数据检索技术领域，尤其涉及基于多模态的知识图谱检索系统及方法，包括：采集单元，用于从预设的采集渠道采集新闻数据，第一服务器，第一服务器为检索服务器，用于存储采集的新闻数据；建模单元，用于进行文本与图像的标识建模，得到第一模型，还用于基于异构网络对第一模型进行跨模态处理，得到第二模型；处理单元，用于通过第二模型对第一服务器内的数据进行清洗分析；第二服务器，第二服务器为非关系型数据库，用于存储清洗分析后的数据；检索单元，用于使用接收的图数据在第二服务器内进行关系检索，得到检索结果。使用本系统，能够使检索数据更加精准、完整。

技术领域

本发明属于数据检索技术领域，尤其涉及基于多模态的知识图谱检索系统及方法。

背景技术

多媒体文档由多个不同模态的媒体对象(包括音频、图像和文本等)组成，并具有一定的语义，如网络上的大多数新闻都属于多媒体文档。对多媒体文档的检索，则属于多模态检索技术。

多模态检索的核心思想是模糊媒体资源模态，以更贴近人类思维的高层概念解释目标对象，使不同模态的资源从各自的侧面表达相同的高层概念，从而更加全面地反映特定的内容信息。其重点并不在于使用多少种媒体，而是要充分发掘和利用媒体之间潜在的关系，以及它们各自对于表达目标概念做出的贡献。

目前，图像、文本检索的研究主要集中在单模态检索上，查询和候选集的内容均属于同一模态。新闻数据在多模态检索通过建立在多种模态之间的信息映射关系，完成信息在不同形态空间中的表达转化，最终实现跨越信息资源形态差异的检索。伴随着多媒体技术的发展与丰富，对于多媒体之间检索的需求则越来越强。

因此，出现了功能相对单模态检索系统更强大的多模态检索系统，但多模态检索面临的最大问题是如何能更好地在文本、图像、视频等多模态之间实现互相识别与检索，精确度与完整性难移得到保证。

因此，需要一种基于多模态的知识图谱检索系统及方法，能够使检索数据更加精准、完整。

发明内容

本发明的目的在于，提供一种基于多模态的知识图谱检索系统及方法，能够使检索数据更加精准、完整。

本发明提供的基础方案为：

基于多模态的知识图谱检索系统，包括：

采集单元，用于从预设的采集渠道采集新闻数据；

第一服务器，第一服务器为检索服务器，用于存储采集的新闻数据；

建模单元，用于进行文本与图像的标识建模，得到第一模型，还用于基于异构网络对第一模型进行跨模态处理，得到第二模型；

处理单元，用于通过第二模型对第一服务器内的数据进行清洗分析；

第二服务器，第二服务器为非关系型数据库，用于存储清洗分析后的数据；

检索单元，用于使用接收的图数据在第二服务器内进行关系检索，得到检索结果。

基础方案工作原理及有益效果：

采集单元从预设的采集渠道采集新闻数据后，存储到第一服务器中，等待处理。之后，处理单元用第二模型对该新闻数据进行清洗分析后，存储在第二服务器中。之后，使用者可通过检索单元进行关系检索。即，检索者可以通过检索单元输入想检索的文档数据(图数据)来获取资料。

由于第二模型用基于异构网络对第一模型进行跨模态处理得到，而第一模型为文本与图像的标识建模。通过处理单元的清洗分析后的数据，在保证数据完整性的同时，还能够保证数据的结构化。

这样，当使用者通过检索单元在第二服务器内进行检索时，由于本系统为多模态融合，可以为模型决策提供更多的信息，除此，由于本系统保证了数据的完整性与结构化，还能够提高决策总体结果的准确率。