[发明专利]一种获取服务端性能数据的方法及装置

说明书

本发明涉及一张获取服务端性能数据的方法及装置。所述方法包括：S1，获取线上服务系统的服务日志；S2，按规则对服务日志进行分割得到多个服务日志片段；S3，解析截取的服务日志片段，提取关键数据，建立数据模型计算性能指标；S4，导出性能指标到数据库。所述装置包括日志获取模块，日志分割模块，性能指标获取模块和结果输出模块。本发明针对线上服务端海量log日志进行实时切割，实时通过大数据分析的方式，可以通过动态的方式获取线上不同业务场景、不同时间段的、不同流量下的服务性能数据，通过对这些数据的汇总分析可以为公司的业务发展提供重要的数据支持。

技术领域

本发明涉及性能测试领域，尤其涉及基于服务端海量日志进行大数据分析获取服务端性能数据的方法及装置。

背景技术

随着移动互联网的快速发展，使用互联网的人数呈现爆发式增长。各行各业的竞争也更加激烈，企业的竞争不仅仅体现在业务方面，也体现在企业对外提供应用体验方面。在使用某个应用时，用户体验最直观的感受就是应用使用过程中是否流畅、而流畅度大部分体现了该应用后端软件服务的性能。在应用发布给用户使用之前都会在公司内部进行相关性能来确保应用可以承载当前业务量，该场景下的性能测试一般是在性能环境进行，但性能环境和线上环境硬件配置、数据量、业务场景等往往是存在差异的，所以性能测试的结果无法直接反应应用发布后的最终性能。同时存在另一个问题是公司无法准确把握当前应用在线上环境的实际性能数据以及用户交易的流量分布，所以无法给出具体的性能指标要求。结果就是在面对突然爆发的业务增长时，我们应用软件服务无法承载对应的业务量，导致应用存在无法使用的可能性致使公司蒙受损失。

当前性能测试的解决方案是在软件测试过程中，待相关服务功能测试完成后，通过jmeter、gatling、loadrunner等专门的性能测试工具在功能测试环境或者性能测试环境模拟不同的场景对相关业务进行性能测试。并获取对应的性能指标，如并发量、TPS、AvgRps、内存、CPU等找出相关业务的瓶颈问题。

上述方案是业界目前普遍采用的一种方案，该方案实施成本较低且在企业内容易实现。但是该方案也存在明显的缺点：

1、性能测试一般在功能测试环境或者性能测试环境进行，但是这两个环境和实际的线上环境不管是在硬件配置、业务场景、流量分布都存在很大差异，也就是说在测试环境实际是无法模拟出真实的场景，所以得出的性能指标仅能作为参考，而且数据还存在不准确的可能性。

2、待相关应用上线后，无法实时监测线上环境服务的性能。测试环境得出的指标在线上环境无法得到验证。

目前需要获取线上环境真实的性能指标，可以采用针对线上环境真实的场景进行性能测试。常用的方式有两种：

1、影子链路：需要对所有代码进行改造，对数据库写操作分主库和影子库操作，性能测试主要对影子库进行。该方式涉及改动点较大，没有很好的技术预案和技术支持，容易产生极大的风险。

2、流量标记：针对性能测试的数据，不依赖生产的真实数据，对于性能测试所造的数据需要打上特定的标记，系统在处理的时候自动识别该数据并进行相关处理，该方式处理不好容易引起线上环境数据错乱，风险较大。

发明内容

为了解决上述问题，本发明的目的在于提供一种获取服务端性能数据的方法及装置，针对线上服务端海量log日志进行实时切割，实时通过大数据分析的方式，可以通过动态的方式获取线上不同业务场景、不同时间段的、不同流量下的服务性能数据，通过对这些数据的汇总分析可以为公司的业务发展提供重要的数据支持。

为解决上述技术问题，本申请实施例是这样实现的：

本申请实施例提供的一种获取服务端性能数据的方法，该方法包括：

S1，获取线上服务系统的服务日志；

S2，按规则对服务日志进行分割得到多个服务日志片段；