[发明专利]使用图像到题目嵌入的大规模图像加标记

摘要

本申请的各实施方式涉及使用图像到题目嵌入的大规模图像加标记。提供了一种框架以用于利用嵌入学习来将图像与题目相关联。框架利用图像而被训练，每个图像具有多个视觉特性和与其相关联的多个关键词标签。视觉特征利用卷积神经网络从视觉特性被计算，并且图像特征矢量从视觉特性被生成。关键词标签被用于通过计算词矢量表示的加权平均来生成针对每个图像的加权词矢量(或者“软题目特征矢量”)，词矢量表示表示与图像相关联的关键词标签。图像特征矢量和软题目特征矢量在共用嵌入空间中被对齐，并且相关性分数针对关键词标签中的每个关键词标签被计算。一旦经训练，框架就可以自动地标记图像，并且基于文本的搜索引擎可以基于预测的相关性分数、相对于查询的关键词来对图像相关性排名。

主权项

1.一种计算机系统，包括一个或者多个处理器；以及存储计算机可用指令的一个或者多个计算机存储介质，所述计算机可用指令在由所述一个或者多个处理器使用时，使得所述一个或者多个处理器：接收多个图像，所述多个图像中的每个图像与多个标签相关联；以及针对所述多个图像中的每个主体图像：从相关联的所述多个标签生成加权词矢量；从与所述主体图像相关联的一个或者多个视觉特征生成图像特征矢量；在共用嵌入空间中将所述图像特征矢量与所述加权词矢量对齐；以及使用对齐的所述矢量，针对相关联的所述多个标签中的每个标签，在其属于所述主体图像时计算相关性分数。