[发明专利]用于基于反馈来生成训练模型的方法和装置

说明书

技术领域

本发明的各实施方式涉及对样本进行评级，更具体地，涉及在评级系统中的用于基于反馈来生成训练模型的方法、装置和相关计算机程序产品。

背景技术

随着计算机技术和人工智能技术的发展，已经可以实现采用计算机来以智能化方式对各种数据样本进行自动评级。自动评级系统可以学习专家(或用户)对于代表性样本进行评级时所采用的标准，并且利用学习到的这些评级标准来生成训练模型，进而采用训练模型对其他待评级样本进行评级。

通常，待评级样本通常数量巨大(例如，数十万甚至上百万)，因而需要从用户采集针对大量样本(例如，数千甚至上万)的评分，才能保证在评级中使用的训练模型的准确性。然而，对于特定用户而言，针对数千甚至上万的样本进行评级是一项费时费力的工作，并且该用户在长时间的评级中容易产生疲劳，例如可能会出现前后评级标准不一致、误操作等错误，进而导致在对样本的评级中存在“噪声”。以上问题都会影响所生成训练模型的准确性，进而影响自动评级的准确性。

发明内容

因而，期望能够开发一种能够准确高效地生成训练模型的技术方案，并且期望该技术方案可以在保证训练模型准确性的同时，尽量减少用户需要评级的样本的数量；还期望能够尽量检测并消除由于用户的疲劳或误操作等错误导致的“噪声”。为此，本发明的各实施方式提供了用于基于反馈来生成训练模型的方法和装置和相关计算机程序产品。

在本发明的一个实施方式中，提供了一种用于基于反馈来生成训练模型的方法，包括：计算多个样本中样本的特征向量；在至少一个轮次中，获取至少一个用户对于多个样本中的至少一个样本的评分，包括：获取至少一个用户对于第一数量的样本的评分；响应于基于特征向量检测到至少一个用户对于第一数量的样本的评分中的不一致性，获取至少一个用户对于第二数量的样本的评分；以及基于至少一个用户对于第一数量和第二数量的样本的评分，生成训练模型。

在本发明的一个实施方式中，获取至少一个用户对于多个样本中的至少一个样本的评分包括：针对至少一个用户中的一个用户，提供至少两个样本；获取用户针对至少两个样本的原始评分；以及将原始评分进行归一化，获得用户针对至少两个样本的评分。

在本发明的一个实施方式中，样本是图像数据。

在本发明的一个实施方式中，提供了一种用于基于反馈来生成训练模型的装置，包括：计算模块，配置用于计算多个样本中样本的特征向量；获取模块，配置用于在至少一个轮次中，获取至少一个用户对于多个样本中的至少一个样本的评分，包括：第一获取模块，配置用于获取至少一个用户对于第一数量的样本的评分；第二获取模块，配置用于响应于基于特征向量检测到至少一个用户对于第一数量的样本的评分中的不一致性，获取至少一个用户对于第二数量的样本的评分；以及生成模块，配置用于基于至少一个用户对于第一数量和第二数量的样本的评分，生成训练模型。

在本发明的一个实施方式中，获取模块进一步包括：针对至少一个用户中的一个用户，提供模块，配置用于提供至少两个样本；第五获取模块，配置用于获取用户针对至少两个样本的原始评分；以及归一化模块，配置用于将原始评分进行归一化，获得用户针对至少两个样本的评分。

在本发明的一个实施方式中，样本是图像数据。

采用本发明所述的方法和装置，可以在尽可能少地改动现有自动评级系统架构的情况下，大大减少需要用户评级的样本的数量，例如，将生成训练模型时需要用户评级的样本数量降低至原来的数十分之一甚至更低(例如，从一万个样本降低至数百个样本)；并且还可以检测并消除生成训练模型中的噪声，以更为快速准确的方式生成训练模型进而提高对全部样本进行评估的效率和准确性。

附图说明

结合附图并参考以下详细说明，本发明各实施方式的特征、优点及其他方面将变得更加明显，在此以示例性而非限制性的方式示出了本发明的若干实施方式。在附图中：

图1示意性示出了适于实现本发明实施方式的示例性计算系统的框图；

图2示意性示出了根据一个解决方案的生成训练模型并基于该训练模型进行评级的示意图；

图3示意性示出了根据本发明一个实施方式的生成训练模型并基于该训练模型进行评级的示意图；

图4示意性示出了根据本发明一个实施方式的基于反馈来生成训练模型的方法的流程图；

图5示意性示出了根据本发明一个实施方式的向用户提供样本并获取用户对于该样本的评分的示意图；

图6示意性示出了根据本发明一个实施方式的生成训练模型的示意图；