[发明专利]基于召回模型的训练评估方法及装置、设备、存储介质

权利要求书

1.一种基于召回模型的训练评估方法，其特征在于，包括：

获取召回模型在线上训练过程中基于训练视频样本所提取的账号特征和视频特征，并将所述账号特征和所述视频特征分别存储至账号特征库和视频特征库；

从所述账号特征库中离线采样得到目标账号特征，并针对所述目标账号特征从所述视频特征库中搜索入库时间相关的视频特征集合；

分别计算所述目标账号特征与所述视频特征集合中含有的各条目标视频特征之间的匹配度，并基于匹配度数值由大到小的排序选取指定排名；

根据与所述指定排名对应的目标视频特征相关联的正样本数量，以及与所述视频特征集合中的目标视频特征相关联的正样本数据计算召回率，所述召回率用于评估所述召回模型的训练效果。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在将所述账号特征和所述视频特征分别存储至账号特征库和视频特征库的过程中，还将所述账号特征的获取时间以及所述视频特征的获取时间分别记录到所述账号特征库和所述视频特征库中。

3.根据权利要求2所述的方法，其特征在于，所述从所述账号特征库中离线采样得到目标账号特征，并针对所述目标账号特征从所述视频特征库中搜索入库时间相关的视频特征集合，包括：

从所述账号特征库中离线采样目标账号特征，并确定目标账号特征对应的获取时间；

在所述视频特征库中搜索获取时间早于所述目标账号特征的获取时间、且与所述目标账号特征的获取时间最接近的视频特征，将搜索到的视频特征作为所述视频特征集合中的目标视频特征。

4.根据权利要求3所述的方法，其特征在于，所述从所述账号特征库中离线采样目标账号特征，包括：

基于预设时间间隔周期性从所述账号特征库中离线采样指定数量的目标账号特征，其中，所述预设时间间隔大于所述召回模型在线上训练过程中进行账号特征和视频特征提取的频率。

5.根据权利要求4所述的方法，其特征在于，在根据与所述指定排名对应的目标视频特征相关联的正样本数量，以及与所述视频特征集合中的目标视频特征相关联的正样本数据计算召回率之后，所述方法还包括：

获取在不同的预设时间间隔内计算得到的召回率；

对获取到的多个召回率进行数值大小对比，选取数值最大的召回率对应的召回模型版本作为训练效果最好的召回模型应用于信息推荐系统。

6.根据权利要求1-4中任一项所述的方法，其特征在于，所述分别计算所述目标账号特征与所述视频特征集合中含有的各条目标视频特征之间的匹配度，包括：

分别针对所述目标账号特征和各条目标视频特征进行向量内积运算，将得到的运算作为所述目标账号特征与对应目标视频特征之间的匹配度。

7.根据权利要求1-4中任一项所述的方法，其特征在于，所述账号特征库的类型包括实时表，视频特征库的类型包括分布式文件系统。

8.一种基于召回模型的训练评估装置，其特征在于，包括：

特征获取模块，配置为获取召回模型在线上训练过程中基于训练视频样本所提取的账号特征和视频特征，并将所述账号特征和所述视频特征分别存储至账号特征库和视频特征库；

离线采样模块，配置为从所述账号特征库中离线采样得到目标账号特征，并针对所述目标账号特征从所述视频特征库中搜索入库时间相关的视频特征集合；

匹配度排名模块，配置为分别计算所述目标账号特征与所述视频特征集合中含有的各条目标视频特征之间的匹配度，并基于匹配度数值由大到小的排序选取指定排名；

召回率计算模块，配置为根据与所述指定排名对应的目标视频特征相关联的正样本数量，以及与所述视频特征集合中的目标视频特征相关联的正样本数据计算召回率，所述召回率用于评估所述召回模型的训练效果。