[发明专利]信息处理设备、推理方法及计算机可读记录介质

说明书

信息处理设备、推理方法及计算机可读记录介质使得对要学习的第一对象的多条第一类训练数据的每条——包括相关第一对象的第一图像信息、语义信息和类别，从第一图像信息生成第一图像HV、从第一语义信息生成第一语义HV、整合第一图像HV和第一语义HV生成第一整合HV、将第一整合HV与第一类别关联地存于存储单元，对要学习的第二对象的多条第二类训练数据的每条——包括相关第二对象的第二语义信息和类别而不包括图像信息，从第二语义信息生成第二语义HV、基于第二语义HV搜索存储单元、从存储单元获得从与第二语义HV匹配度最高的整合HV中选择的预定数量整合HV、基于预定数量整合HV生成第二类训练数据的第二整合HV并将第二整合HV与第二类别关联地存于存储单元。

技术领域

本文讨论的实施方式涉及信息处理设备、推理方法以及计算机可读记录介质。

背景技术

如今，神经网络(neural network，NN)被积极地用于图像识别和其他领域。例如，通过使用深度学习(deep learning，DL)来显著提高图像识别的准确性。

然而，在使用DL的识别中，仅能够识别向其给出了训练数据的对象。相比之下，人类甚至能够在给出了其他线索信息的情况下识别他们实际上没有看到的图像。作为实现这样的人类识别的技术，存在零样本学习(zero-shot learning，ZSL)。零样本学习使得能够通过提供线索信息在没有训练数据的情况下进行识别。

图12A和图12B是用于说明零样本学习的图。图12A示出了零样本学习中的训练，并且图12B示出了零样本学习中的推理。如图12A所示，训练数据中存在两种类型的数据。

第一类训练数据包括类别、图像信息和语义信息。语义信息是用于识别的线索信息。例如，“斑马”与作为语义信息的“四足”、“条纹”和“吃植物”相关，并且“狮子”与作为语义信息的“四足”、“棕色”和“吃肉”相关。“四足”、“条纹”、“吃植物”、“棕色”、“吃肉”等指示要识别的对象的属性。

第二类训练数据包括类别和语义信息而不包括图像信息。例如，“老虎”与作为语义信息的“四足”、“条纹”、“棕色”和“吃肉”相关，但是没有与“老虎”相关的图像信息。

如图12B所示，在给出“老虎”的图像信息并询问“这是什么动物？”时，推理设备提供答案“老虎”作为推理结果。虽然在训练中没有给出“老虎”的图像信息，但是推理设备以语义信息为线索输出“老虎”作为答案。

作为相关技术，存在准确且高效地找到语义相似或相同的内容项的特征生成设备。当输入表示特征生成的对象的内容的一个或更多个初始特征向量时，该特征生成设备生成并输出整合特征向量。例如，特征生成设备基于由多个预定量和分别对应于所述多个预定量的代表性向量定义的量化器，将每个初始特征向量分配给一个或更多个量。特征生成设备针对每个量获得被分配给该量的初始特征向量和与该量相对应的代表性向量的残差向量。特征生成设备通过将针对各个量计算的残差向量进行整合来获得整合特征向量，并且输出通过将预定变换矩阵应用于所获得的整合特征向量来执行去相关处理而获得的整合特征向量来作为内容的特征。

作为相关技术，存在基于查询图像执行搜索的系统。该系统根据从查询图像中提取的特征生成表示该查询图像的视觉词汇集，并将该视觉词汇集与索引图像的视觉词汇进行比较。在所述比较中，系统根据索引图像生成与一个或更多个视觉词汇相匹配的候选图像集。然后，系统执行多级排序对该候选图像集进行排序，并将多级排序的结果返回给提供查询图像的用户装置。

作为相关技术，还存在准确计算文本之间的相似度的文本相似度计算设备。该文本相似度计算设备计算图像相似度，该图像相似度是对应于第一文本并且通过转换第一文本而获得的第一图像信息与对应于第二文本并且通过转换第二文本而获得的第二图像信息之间的相似度。文本相似度计算设备计算文本向量相似度，该文本向量相似度是表示第一文本的第一文本向量与表示第二文本的第二文本向量之间的相似度。文本相似度计算设备基于图像相似度和文本向量相似度计算第一文本与第二文本之间的相似度。