[发明专利]一种跨模态搜索系统

说明书

本发明公开了一种跨模态搜索系统，涉及跨模态搜索技术领域，包括：跨模态检索模块、资源库生成模块和量化库，其中；所述跨模态检索模块，用于作为信息输入获取用户输入的检索特征和编码结果以及并进行信息存储，确定其对应的高维向量；所述资源库生成模块，用于建立经过校正的资源及其量化编码并存入量化库指定的模态区域，为检索运算提供支持；量化库，用于储存所有待检索的资源。本发明实现多种模态信息的融合和补充，不仅可有效的提升在做跨模态搜索时对信息的语义理解，而且解决了不同模态的资源之间无法直接相互检索的问题，且都能够转化为统一规范的可计算的量化形式。

技术领域

本发明涉及跨模态搜索技术领域，具体来说，涉及一种跨模态搜索系统。

背景技术

近些年，人工智能的发展得到了较大的突破，以至于人工智能在多个领域得到深入的应用。人工智能中的深度学习技术在近几年更是发展迅猛，在自然语言处理领域的应用更是尤为突出，随着深度学习不断的发展，对于某些任务，深度学习模型完成任务的能力已经超过了人类。模态是指数据的存在形式，比如文本、音频、图像、视频等文件格式，有些数据的存在形式不同，但是它们都是描述同一事物或事件，在做信息检索时往往需要不同模态的数据来丰富我们对同一事物或事件的认知，跨模态搜索就是用于实现不同模态数据之间的搜索。

当今社会是信息技术高速发展的时代，无论在网络还是在新兴的社交媒体，都涌现大量的多媒体数据。传统的单模态搜索系统已经不能满足用户日益增长的需求，因为其查询数据和搜索结果数据局限于单一模态。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出一种跨模态搜索系统，以克服现有相关技术所存在的上述技术问题。

本发明的技术方案是这样实现的：

一种跨模态搜索系统，包括：

跨模态检索模块、资源库生成模块和量化库，其中；

所述跨模态检索模块，用于作为信息输入获取用户输入的检索特征和编码结果以及并进行信息存储，确定其对应的高维向量；

所述资源库生成模块，用于建立经过校正的资源及其量化编码并存入量化库指定的模态区域，为检索运算提供支持；

量化库，用于储存所有待检索的资源。

进一步的，所述跨模态检索模块包括检索单元、模块判别分配单元、多模态编码库和量化编码单元，其中；

所述检索单元，用于读取来自用户的检索信息；

所述模块判别分配单元，用于判断输入的资源属于哪种模态，并将其分配到所述多模态编码库指定的模态编码系统；

所述多模态编码库，用于提供不同模态的编码系统；

所述量化编码单元，用于获取所述多模态编码库内特定编码器的编码结果，并进行信息存储，其储存信息包括位置信息和与位置信息所对应的高维向量。

进一步的，包括余弦值相似度匹配单元和呈现单元，其中；

所述余弦值相似度匹配单元，将所述检索单元对应的量化编码里各个位置信息对应的高维向量，与所述量化库里各个资源对应的量化编码里各个位置信息对应的高维向量，分别进行余弦值计算；

所述呈现单元，用于获取与检索单元最匹配的一批资源及其位置。

进一步的，所述资源库生成模块包括校正单元，其中；

所述校正单元，用于建立经过校正的资源及其量化编码并存入量化库指定的模态区域。

进一步的，所述校正单元包括自动校正和人为校正。