[发明专利]一种跨模态搜索系统

权利要求书

1.一种跨模态搜索系统，其特征在于，包括：

跨模态检索模块(1)、资源库生成模块(2)和量化库(3)，其中；

所述跨模态检索模块(1)，用于作为信息输入获取用户输入的检索特征和编码结果以及并进行信息存储，确定其对应的高维向量；

所述资源库生成模块(2)，用于建立经过校正的资源及其量化编码并存入量化库指定的模态区域，为检索运算提供支持；

量化库，用于储存所有待检索的资源。

2.根据权利要求1所述的跨模态搜索系统，其特征在于，

所述跨模态检索模块(1)包括检索单元(4)、模块判别分配单元(5)、多模态编码库(6)和量化编码单元(7)，其中；

所述检索单元(4)，用于读取来自用户的检索信息；

所述模块判别分配单元(5)，用于判断输入的资源属于哪种模态，并将其分配到所述多模态编码库(6)指定的模态编码系统；

所述多模态编码库(6)，用于提供不同模态的编码系统；

所述量化编码单元(7)，用于获取所述多模态编码库(6)内特定编码器的编码结果，并进行信息存储，其储存信息包括位置信息和与位置信息所对应的高维向量。

3.根据权利要求2所述的跨模态搜索系统，其特征在于，进一步包括余弦值相似度匹配单元(8)和呈现单元(9)，其中；

所述余弦值相似度匹配单元(8)，将所述检索单元对应的量化编码里各个位置信息对应的高维向量，与所述量化库里各个资源对应的量化编码里各个位置信息对应的高维向量，分别进行余弦值计算；

所述呈现单元(9)，用于获取与检索单元最匹配的一批资源及其位置。

4.根据权利要求1所述的跨模态搜索系统，其特征在于，

所述资源库生成模块(2)包括校正单元(10)，其中；

所述校正单元(10)，用于建立经过校正的资源及其量化编码并存入量化库指定的模态区域。

5.根据权利要求4所述的跨模态搜索系统，其特征在于，所述校正单元()包括自动校正和人为校正。

6.根据权利要求5所述的跨模态搜索系统，其特征在于，进一步包括交互界面，其，所述交互界面，用于实现人机交互完成配置。