[发明专利]一种推荐系统中模型测试方法、装置及电子设备

说明书

本发明涉及计算机技术领域，提供一种推荐系统中模型测试方法、装置、电子设备及计算机可读存储介质，以解决测试准确性不足问题。该方法包括：获取待测模型对应的测试样本数据；通过待测模型对测试样本数据进行处理，获得第一输出结果；根据第一输出结果与第二输出结果，获得比对结果；其中，第二输出结果为通过线上已使用的线上模型，对测试样本数据进行处理输出的结果，待测模型与线上模型为同一功能模型；基于比对结果获得待测模型的测试结果。不但考虑了线上模型的第二输出结果，而且考虑了待测模型的第一输出结果，通过与第一输出结果和第二输出结果相关的比对结果确定测试结果，以提高测试结果的准确性。

技术领域

本发明涉及计算机技术领域，尤其涉及一种推荐系统中模型测试方法、装置、电子设备及计算机可读存储介质。

背景技术

推荐系统(Recommender system)是一种通过运用深度学习、神经网络等技术帮助用户快速获取有用信息的复杂系统，通过分析用户的历史行为，对用户画像进行建模，从而主动给用户推荐能够满足他们兴趣和需求的内容。目前的推荐系统产品多样，涉及衣食住行的各个行业，涉及范围广。其中，推荐系统涉及一系列模型，例如，内容模型、质量模型、排序模型、召回模型以及推荐模型等，这一系列模型共同实现推荐系统的功能。

模型的好坏决定推荐系统推荐效果的好坏，为确保推荐系统的推荐效果，在推荐系统的模型新版本上线之前，需对该模型进行测试。目前，在进行模型测试过程中，一般采用A/B测试(即对照测试或随机测试)，即为同一个目标设计A方案和B方案，让一部分用户使用A方案，一部分用户使用B方案。记录用户的使用情况，根据用户反馈，比较得出哪个方案更佳。然而，上述测试方法依赖参与测试的用户的反馈，主观性较强容易带来偏差且容易以偏概全，从而导致测试结果准确性不足。

发明内容

本发明实施例提供一种推荐系统中模型测试方法、装置、电子设备及计算机可读存储介质，以解决现有技术在测试过程中得到的测试结果准确性不足的问题。

第一方面，本发明实施例提供了一种推荐系统中模型测试方法，所述方法包括：

获取待测模型对应的测试样本数据；

通过所述待测模型对所述测试样本数据进行处理，获得第一输出结果；

根据所述第一输出结果与第二输出结果，获得比对结果；其中，所述第二输出结果为通过线上已使用的线上模型，对所述测试样本数据进行处理输出的结果，所述待测模型与所述线上模型为同一功能模型；

基于所述比对结果获得所述待测模型的测试结果。

可选的，所述根据所述第一输出结果与第二输出结果，获得比对结果，包括：

根据所述第一输出结果，确定第一指标参数的值；

将所述第一输出结果与第二输出结果进行比对，获得第一比对结果；

将所述第一指标参数的值与所述第一指标参数的预设值进行比对，获得第二比对结果，所述第一指标参数的预设值为基于所述线上模型的第二输出结果确定的值。

可选的，所述基于所述比对结果获得所述待测模型的测试结果包括：

若所述第一比对结果满足第一预设条件，或/和所述第二比对结果满足第二预设条件，获得测试通过结果。

可选的，若所述第一比对结果中，所述第一输出结果中数值大于第一预设值的数量，超过所述第二输出结果中数值大于所述第一预设值的数量，则所述第一比对结果满足所述第一预设条件。

可选的，所述第一指标参数包括正确率、召回率、误召率以及扩召回率中的至少一种。

可选的，在所述第一指标参数不包括误召率的情况下，若所述第二比对结果中，所述第一指标参数的值超过所述第一指标参数的预设值，则所述第二比对结果满足第二预设条件；