[发明专利]数据处理方法及其系统、电子设备和介质

说明书

本公开提供了一种数据处理方法，包括：收集测试环境的第一属性数据和生产环境的第二属性数据，其中，测试环境配置有与生产环境不同的硬件环境，第一属性数据用于表征测试环境的数据处理性能，第二属性数据用于表征生产环境的数据处理性能；获取待处理批量作业，其中，待处理批量作业包括多个批量作业；确定在测试环境中处理每个批量作业所需要的第一运行时间；以及基于第一运行时间、第一属性数据和第二属性数据，确定在生产环境中处理每个批量作业所需要的第二运行时间。本公开还提供了一种数据处理系统，电子设备和介质。

技术领域

本公开涉及大型机技术测试领域，更具体地，涉及一种数据处理方法及其装置、电子设备和介质。

背景技术

测试环境相对于生产环境通常都有硬件配置较差，数据量相差大等问题。由于大型机价格非常昂贵，因此针对大型机而言，测试环境相对于生产环境的硬件差异更加明显，主要包括CPU配置、磁盘配置、作业并行度。由于受到环境差异的影响，针对同一批量作业，在测试环境中运行效率要低于在生产环境中运行效率的几倍甚至十几倍，从而导致在测试环境中整体运行时间达到在生产环境中整体运行时间的几倍甚至十几倍。

针对一个批量作业在生产环境中的运行时间，相关技术提供了一些测算方法，例如，根据经验值，将在测试环境中批量作业的运行时间直接进行简单折算。但是，该折算存在如下问题：测试环境由于工作负载安排不稳定导致作业的运行时间波动较大，且物理CPU和存储等硬件设备的差异对于不同应用类型的批量作业影响程度也不尽相同。

因此，相关技术提供的测算方法，无法根据测试环境的运行情况准确评估投产后在生产环境中的运行时间，准确性较低。

发明内容

有鉴于此，本公开提供了一种数据处理方法及其装置、电子设备和介质。本公开针对大型主机提出一种跨环境批量运行时间测算方法和装置。一方面，通过提取不同环境(测试环境和生产环境)之间批量作业的共性指标，根据共性指标在不同环境下的不同性能表现，评估单个批量作业在不同环境下运行时间的差异，可以得到在生产环境中单个批量作业运行时间的预估值。另一方面，综合单个批量作业运行时间的预估值和各个批量作业之间的排程关系，可以计算出批量关键路径，根据关键路径上所有单个批量作业运行时间的预估值之和，最终预估整个批量作业在生产环境中的时间窗口。

本公开的一个方面提供了一种数据处理方法，包括：收集测试环境的第一属性数据和生产环境的第二属性数据，其中，上述测试环境配置有与上述生产环境不同的硬件环境，上述第一属性数据用于表征上述测试环境的数据处理性能，上述第二属性数据用于表征上述生产环境的数据处理性能，获取待处理批量作业，其中，上述待处理批量作业包括多个批量作业，确定在上述测试环境中处理每个批量作业所需要的第一运行时间，以及基于上述第一运行时间、上述第一属性数据和上述第二属性数据，确定在上述生产环境中处理上述每个批量作业所需要的第二运行时间。

根据本公开的实施例，上述方法还包括：针对上述待处理批量作业，确定作业关键路径，基于上述作业关键路径，从上述多个批量作业中确定出至少一个批量作业，以及基于在上述生产环境中处理上述至少一个批量作业中的每个批量作业所需要的第二运行时间，确定在上述生产环境中处理上述待处理批量作业所需要的第三运行时间。

根据本公开的实施例，上述收集测试环境的第一属性数据和生产环境的第二属性数据包括以下至少之一：收集上述测试环境的硬件配置信息和上述生产环境的硬件配置信息，收集在上述测试环境中已处理批量作业的运行时间和在上述生产环境中上述已处理批量作业的运行时间，收集在上述测试环境中上述已处理批量作业的性能报表和在上述生产环境中上述已处理批量作业的性能报表。

根据本公开的实施例，上述确定在上述测试环境中处理每个批量作业所需要的第一运行时间包括：确定在上述测试环境的数据库中处理上述每个批量作业所需要的数据库运行时间，确定在上述测试环境的非数据库中处理上述每个批量作业所需要的非数据库运行时间，以及基于上述数据库运行时间和上述非数据库运行时间，确定上述第一运行时间。