[发明专利]一种系统性能稳定性测试方法、系统、装置及存储介质

说明书

本发明提出的一种系统性能稳定性测试方法、系统、装置及存储介质，所述方法包括：当预热次数为1时，无法获取预热性能平均值及方差。此时将预热性能值与正式测试性能值进行比较，以此判断系统是否进入稳态。当预热次数大于等于2时，可以取每次测试的平均值，及标准差，再运算求得变异系数来衡量每次预热的性能值相对于平均值偏差量的大小。若变异系数大，则说明每次预热性能值浮动较大，此时系统未进入稳态。反之则说明，预热时系统已经进入稳态。当确定系统进入稳态后，加载负载，并继续测试，直至所有测试负载全部已经加载，测试运行结束获取测试结果。本发明实现了快速判断测试系统是否进入稳态，提升了SERT测试效率。

技术领域

本发明涉及计算机技术领域，更具体的说是涉及一种系统性能稳定性测试方法、系统、装置及存储介质。

背景技术

SPEC SERT是国际权威的用于测量和评估服务器能效的测试工具集。SERT套件是根据全球各个能源效率计划的领导者及其利益相关者的意见而创建的，目的是为了适应其地区内的能效计划要求。

SPEC SERT是由Java语言编写的测试工具，由于Java虚拟机垃圾回收机制、不同JIT编译、内存分配、以及测试系统进行缓存加载等因素，会使被测系统的性能值在测试负载开始阶段并不稳定，很容易产生偏差。为了测试的数据的准确性，SERT工具规定每个工作负载需要系统先达到稳定状态，再记录系统的性能值与功耗。

现有技术中，使用SERT工具进行测试前需要在工作负载正式测试前提供预热阶段，来使被测系统达到相对稳定的状态。SERT工具规定每次预热的次数从1到10次，可由用户自定义，默认值为3次。一般来说，更多的预热次数会使系统更容易进入稳态，但同时过多的预热次数会大大增加测试时间，最高将增加1/3的测试时间，会严重影响测试效率。但是，由于用户难以确定使系统能够到稳态的最少预热次数，用户需要在每次预热后等待测试结束查看测试报告时，才能确定测试中系统是否达到稳态，导致测试效率低下。

发明内容

针对以上问题，本发明的目的在于提供一种系统性能稳定性测试方法、系统、装置及存储介质，实现了快速判断测试系统是否进入稳态，提升了SERT测试效率。

本发明为实现上述目的，通过以下技术方案实现：一种系统性能稳定性测试方法，包括如下步骤：

S1：设置测试预热次数为1；

S2：启动SERT测试；

S3：在测试运行过程中，实时监控日志文件，获取预热性能值，待预热完成正式测试时获取正式性能值；

S4：计算预设性能值与正式性能值的偏差量；

S5：判断偏差量是否小于偏差阈值；若是，则执行步骤S6；若否，则执行步骤S9；

S6：判断所有负载是否已加载；若是，则执行步骤S7；若否，则执行步骤S8；S7：测试继续运行直至结束；

S8：增加一个负载并转到步骤S3；

S9：通过增加预热次数，在系统预热后利用预热性能变异系数判定系统达到稳态，并执行测试。

进一步，步骤S9包括如下步骤：

S91：强制结束测试程序，并将预热次数设置为2；

S92：启动SERT测试；

S93：从日志文件中提取预热性能值；

S94：根据每次预热的预热性能值计算出预热性能变异系数；

S95：判断预热性能变异系数是否大于判定阈值；若是，则执行步骤S96；若否，则执行步骤S97；

S96：终止测试，将预热次数加1后执行S92；