[发明专利]一种测试方法、装置及设备

说明书

本申请实施例涉及计算机领域，公开了一种测试方法、装置及设备。本申请实施例涉及的测试方法包括：获取至少一个测试需求，分别依据每个测试需求得到至少一个目标测试方案；获取至少一个算法信息，分别依据每个算法信息得到至少一个目标决策指标规则；依据每个目标测试方案以及所述算法信息对应的目标决策指标规则进行测试得到至少一个测试报告；分析至少一个测试报告，得到目标测试报告。这样，在面对新的测试模型或者测试模型的应用场景发生改变时，无需单独对测试模型进行测试规划，只需从相应的数据库中调用相应的测试方案或者决策指标规则来满足测试需求即可。因此提高了测试方法的灵活性，由于减少了人工参与，提升了测试效率。

技术领域

本发明实施例涉及计算机领域，具体涉及一种测试方法、装置及设备。

背景技术

在强化学习算法的研究过程中，算法研究人员需要对训练模型进行多次测试，以不断验证、改进从而得到相对较完善的训练模型。

由于强化学习的训练模型是由对应的强化学习算法得到，当强化学习算法改变时，训练模型涉及的测试点对应的测试信息以及测试目标也随之发生改变。现有的测试方法灵活性较差，无法兼容多种强化学习算法或者进行多种测试内容的测试，针对不同的训练模型需要制定不同的测试方法，这样就需要针对每个新的训练模型，或者对处于每个新的应用场景下的测试模型进行单独测试。并且，现阶段对于强化学习的训练模型测试通常采用人工测试或自动化程度较低的方式，由于每个训练模型的待测试点位较多导致测试工作量较大，造成测试效率偏低。

发明内容

本申请实施例提供了一种测试方法及系统，以解决现有测试兼容性弱，以及测试效率低的问题。

第一方面，本申请实施例提供了一种测试方法，所述方法包括：

获取至少一个测试需求，分别依据每个测试需求调用预设在测试方案库中与相应测试需求对应的测试方案，得到至少一个目标测试方案；

获取至少一个算法信息，分别依据每个算法信息调用预设在决策指标规则库中与相应算法信息对应的决策指标规则，得到至少一个目标决策指标规则；

依据每个目标测试方案以及所述每个算法信息对应的目标决策指标规则进行测试，得到至少一个测试报告；

分析所述至少一个测试报告，得到目标测试报告。

在一些可能的实施方式中，在获取至少一个测试点信息之前，所述方法包括：获取至少一个算法启动命令，并将每个所述算法启动命令加载成统一格式字符串用于启动每个所述算法启动命令对应的算法。

在一些可能的实施方式中，每个所述测试方案包括：方案名称以及至少一个测试用例，所述测试用例包括：待测试点位信息以及每个待测试点位信息对应的测试内容。

在一些可能的实施方式中，获取至少一个算法信息后，得到至少一个目标决策指标规则之前，还包括：依据决策规则库的定义内容与所述算法信息的对应关系，调用与相应算法信息对应的决策指标规则。

在一些可能的实施方式中，所述算法信息包括：算法类型。

在一些可能的实施方式中，所述决策指标库定义内容包括：算法类型、决策指标提取规则、算法收敛阈值以及算法训练最大时间。

在一些可能的实施方式中，每个测试方案之间独立运行，互不影响。

第二方面，本申请实施例还提供了一种测试装置，所述装置包括：

第一获取模块，用于获取至少一个测试需求，分别依据每个测试需求调用预设在测试方案库中与相应测试需求对应的测试方案，得到至少一个目标测试方案；

第二获取模块，用于获取至少一个算法信息，分别依据每个算法信息调用预设在决策指标规则库中与相应算法信息对应的决策指标规则，得到至少一个目标决策指标规则；

测试模块，用于依据每个目标测试方案以及所述每个算法信息对应的目标决策指标规则进行测试，得到至少一个测试报告；