[发明专利]基于召回模型的训练评估方法及装置、设备、存储介质

说明书

本申请的实施例揭示了一种基于召回模型的训练评估方法及装置、电子设备、存储介质，可应用于自动驾驶、智慧交通等领域，包括：将召回模型在线上训练过程中基于训练视频样本提取的账号特征和视频特征分别存储至账号特征库和视频特征库；从账号特征库中离线采样得到目标账号特征，针对目标账号特征从视频特征库中搜索入库时间相关的视频特征集合；计算目标账号特征与视频特征集合中各条目标视频特征的匹配度，基于匹配度数值由大到小的排序选取指定排名；根据与指定排名对应的目标视频特征相关联的正样本数量，以及与视频特征集合中的目标视频特征相关联的正样本数据计算召回率。本申请实施例的方案能够节约在线机器资源，提升模型参数迭代效果。

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种基于召回模型的训练评估方法及装置、电子设备、存储介质、程序产品。

背景技术

推荐系统是指互联网时代平台根据用户兴趣自动选择/匹配平台上的商品并且呈现给用户。推荐系统通常包括召回模型，召回模型用于从候选池中选出符合目标和算力限制的子集。

为了提升召回模型的训练效果，需要对召回模型进行评估。目前，召回模型的评估方式通常是在线AB测试，但是在线AB测试需要占用线上资源，且线上测试的规模较小，观测周期较长。

发明内容

为解决上述技术问题，本申请的实施例提供了基于召回模型的训练评估方法及装置、电子设备、存储介质、程序产品。

本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

根据本申请实施例的一个方面，提供了一种基于召回模型的训练评估方法，包括：

获取召回模型在线上训练过程中基于训练视频样本所提取的账号特征和视频特征，并将所述账号特征和所述视频特征分别存储至账号特征库和视频特征库；

从所述账号特征库中离线采样得到目标账号特征，并针对所述目标账号特征从所述视频特征库中搜索入库时间相关的视频特征集合；

分别计算所述目标账号特征与所述视频特征集合中含有的各条目标视频特征之间的匹配度，并基于匹配度数值由大到小的排序选取指定排名；

根据与所述指定排名对应的目标视频特征相关联的正样本数量，以及与所述视频特征集合中的目标视频特征相关联的正样本数据计算召回率，所述召回率用于评估所述召回模型的训练效果。

根据本申请实施例的一个方面，提供了一种基于召回模型的训练评估装置，包括：

特征获取模块，配置为获取召回模型在线上训练过程中基于训练视频样本所提取的账号特征和视频特征，并将所述账号特征和所述视频特征分别存储至账号特征库和视频特征库；

离线采样模块，配置为从所述账号特征库中离线采样得到目标账号特征，并针对所述目标账号特征从所述视频特征库中搜索入库时间相关的视频特征集合；

匹配度排名模块，配置为分别计算所述目标账号特征与所述视频特征集合中含有的各条目标视频特征之间的匹配度，并基于匹配度数值由大到小的排序选取指定排名；

召回率计算模块，配置为根据与所述指定排名对应的目标视频特征相关联的正样本数量，以及与所述视频特征集合中的目标视频特征相关联的正样本数据计算召回率，所述召回率用于评估所述召回模型的训练效果。

根据本申请实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如前所述的基于召回模型的训练评估方法。

根据本申请实施例的一个方面，提供了一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被电子设备的处理器执行时，使电子设备执行如前所述的基于召回模型的训练评估方法。