[发明专利]视觉媒体个性化搜索方法和装置

说明书

本申请公开了一种视觉媒体个性化搜索方法和装置，包括：对用户的视觉媒体查询文本进行语义分析，得到其中包含的视觉语义信息、时间信息和/或地点信息；将所述语义分析的结果，与指定搜索范围内每个视觉媒体的属性数据进行语义相似度匹配，得到所述视觉媒体的查询相似度；所述视觉媒体为图像或视频；所述属性数据包括视觉语义个性信息、时间个性信息和/或地点个性信息；基于所述查询相似度，生成相应的视觉媒体查询结果。采用本申请，可以满足用户的个性化搜索视觉媒体需求。

技术领域

本发明涉及计算机应用技术，特别是涉及一种视觉媒体个性化搜索方法和装置。

背景技术

随着智能终端设备拍摄功能的广泛应用，人们对智能终端设备的相册检索需求也越来越高，希望能够进行个性化的视觉媒体搜索(包括图片和视频的搜索)。例如，用户输入查询语句“查找女儿去年生日照片”，即可从相册中查找出相应的照片显示给用户。

针对上述个性化视觉媒体搜索需求，发明人在实现本申请的过程中通过研究发现：现有的视觉媒体搜索方案无法满足上述个性化的查询需求。具体原因如下：

现有的视觉媒体查询方案仅是基于图像的语义信息进行搜索，搜索时无法识别出图像的用户个性化信息。出于保护用户隐私的原因，在进行用于语义搜索的服务端模型训练时，不适合基于用户的个性化信息进行训练和识别，从而无法获得能够基于图像内容识别用户个性化信息的搜索模型，从而无法满足用户的个性化查询需求。例如，现有的视觉媒体查询方案可以从图像中识别出拍摄主体是个女孩，但是无法识别出拍摄主体与当前查询用户之间的关系，这样，就无法满足类似“查找女儿去年生日照片”这种个性化搜索需求。

发明内容

有鉴于此，本发明的主要目的在于提供一种视觉媒体个性化搜索方法和装置，可以满足用户的个性化搜索视觉媒体的需求。

为了达到上述目的，本发明实施例提出的技术方案为：

一种视觉媒体个性化搜索方法，包括：

对用户的视觉媒体查询文本进行语义分析，得到其中包含的视觉语义信息、时间信息和/或地点信息；

将所述语义分析的结果，与指定搜索范围内每个视觉媒体的属性数据进行语义相似度匹配，得到所述视觉媒体的查询相似度；所述视觉媒体为图像或视频；所述属性数据包括视觉语义个性信息、时间个性信息和/或地点个性信息；

基于所述查询相似度，生成相应的视觉媒体查询结果。

较佳地，所述将所述语义分析的结果，与指定搜索范围内每个视觉媒体的属性数据进行语义相似度匹配包括：

如果所述语义分析的结果包含视觉语义信息，则将该视觉语义信息与所述视觉媒体的视觉语义个性信息进行相似度匹配，得到所述视觉媒体的视觉语义相似度；

如果所述语义分析的结果包含时间信息，则将该时间信息与所述视觉媒体的时间个性信息进行相似度匹配，得到所述视觉媒体的时间语义相似度；

如果所述语义分析的结果包含地点信息，则将该地点信息与所述视觉媒体的地点个性信息进行相似度匹配，得到所述视觉媒体的地点语义相似度；

基于所述视觉媒体的视觉语义相似度、所述时间语义相似度和/或地点语义相似度，按照加权计算方法，得到所述视觉媒体的查询相似度。

较佳地，当所述视觉媒体的视觉语义个性信息包含高维语义向量时，所述将该视觉语义信息与所述视觉媒体的视觉语义个性信息进行相似度匹配包括：

基于所述语义分析得到的视觉语义信息，生成相应的高维语义向量；将转换得到的高维语义向量，与所述视觉媒体的视觉语义个性信息中的高维语义向量，进行相似度匹配，得到所述视觉媒体的第一视觉语义相似度；