[发明专利]数据处理方法、装置、电子设备及计算机可读存储介质

说明书

本公开提供了一种数据处理方法、装置、电子设备及计算机可读存储介质，该方法包括：从多个业务服务器获取日志数据，其中，多个业务服务器中至少两个业务服务器所对应的日志数据的数据格式不同；按照预配置的第一数据格式，对日志数据进行格式转换，得到转换后的数据。本公开的实施例中，可将从多个业务服务器获取的日志数据的数据格式转换为预配置的数据格式，得到格式统一的数据并存储，由于从多个业务服务器中获取的日志数据为不同格式的日志数据，不便于后续的数据处理，因此，通过该方案，能够将日志数据转化为格式统一的数据，得到的格式统一的数据可以实时为不同业务需求提供数据基础，提高了后续的数据处理的效率。

技术领域

本公开涉及数据处理技术领域，具体而言，本公开涉及一种数据处理方法、装置、电子设备及计算机可读存储介质。

背景技术

对于线上产品，根据不同的业务需求，需要对不同的业务参数进行监控，以基于监控获取到的各业务参数所对应的数据，掌握该产品的业务性能或用户使用情况等。

现有技术中，在对不同的业务参数对应的指标数据进行监控时，需要从监控不同的业务参数的指标数据的一个或多个服务器中，获得与每个业务参数对应的指标数据，在通过多个服务器对各个业务场景的指标数据进行监控时，由于从每个服务器获取的业务参数对应的指标数据的数据量大，且需要从不同的服务器中获取数据，使得数据获取效率慢。

可见，现有技术中，从不同服务器中获取业务参数对应的指标数据的效率慢。

发明内容

本公开的目的旨在至少能解决上述的技术缺陷之一，提高数据处理效率。本公开采用的技术方案如下：

第一方面，本公开提供了一种数据处理方法，该方法包括：

从多个业务服务器获取日志数据，其中，多个业务服务器中至少两个业务服务器所对应的日志数据的数据格式不同；

按照预配置的第一数据格式，对日志数据进行格式转换，得到转换后的数据。

本公开的实施例中，按照预配置的第一数据格式，对日志数据进行格式转换，包括：

根据第一数据格式和日志数据的第二数据格式，确定将第二数据格式转换为第一数据格式的数据转换规则；

根据数据转换规则，将日志数据进行转换。

本公开的实施例中，日志数据包括被监控业务参数的指标数据，根据数据转换规则，将日志数据进行转换，包括：

根据参数配置信息，从日志数据中提取目标业务参数所对应的指标数据，参数配置信息中包括目标业务参数，被监控业务参数包括目标业务参数；

根据数据转换规则，将目标业务参数以及目标业务参数所对应的指标数据进行转换。

本公开的实施例中，参数配置信息中还包括间接业务参数，间接业务参数所对应的指标数据由至少两个被监控业务参数所对应的指标数据确定；

该方法还包括：

根据间接业务参数所对应的至少两个被监控业务参数所对应的指标数据，得到间接业务参数所对应的指标数据。

本公开的实施例中，该方法还包括：

根据转换后的数据的数据量，将转换后的数据进行存储。

本公开的实施例中，根据转换后的数据的数据量，将转换后的数据进行存储，包括：

若转换后的数据的数据量大于预配置的数据量阈值，则根据第一存储方式存储转换后的数据；

若转换后的数据的数据量不大于数据量阈值，则根据第二存储方式存储转换后的数据；