[发明专利]一种基于Kibana的跟账数据准备方法及系统

说明书

本发明涉及一种基于Kibana的跟账数据准备方法及系统，包括获取第一日志信息和第二日志信息，设置爬虫规则，根据所述爬虫规则结合第二日志信息先筛选出具体的分库交易流水信息，再根据分库交易流水信息爬取第一日志信息，获取交易的请求报文和响应报文，其中，请求报文主要用来跟账的测试输入，响应报文则是用来与跟账测试得到的响应报文进行比对，以验证新系统功能的正确性。采用本发明所述的方法和系统，实现了各种基于Kibana平台的金融交易类测试报文的采集，同时，提高了跟账测试数据的采集效率，保证了跟账测试的高覆盖率。

技术领域

本发明涉及信息处理技术领域，尤其涉及一种基于Kibana的跟账数据准备方法及系统。

背景技术

Kibana是一个开源的分析与可视化平台，设计出来用于和Elasticsearch一起使用，通过Kibana可以方便的查询存储在elasticsearch索引中的系统日志数据。Kibana与Elasticsearch的交互方式是各种不同的图表、表格、地图等，直观的展示数据，从而达到高级的数据分析与可视化的目的。目前Kibana主要应用于系统的日志分析与展示场景。

爬虫又称网页蜘蛛，它是一种按照一定的规则，自动的爬取万维网信息的程序或者脚本。它可以替代人类自动的在互联网中进行数据信息的采集与整理。

跟账是指新系统模拟上线运行后，将老系统发生的交易通过某种方式在新系统进行“重现”，并与老系统核对运行结果的过程。跟账通常包括跟账数据的准备与跟账后数据的交易报文，数据库比对等过程。

传统的金融核心账务系统在面临新老系统切换时，往往需要进行全面的功能测试以验证新系统的正确性，因此金融核心账务系统通常会引入跟账测试来对新系统的功能进行全面的功能验证。但是传统的跟账测试数据准备通常都需要人为通过模拟业务交易生产测试数据，这个过程通常会消耗大量的人力成本，同时在保证跟账测试数据的覆盖度方面因掺杂了人为的因素导致可能不够全面。因此急需一种全自动化的跟账测试数据准备方法。

发明内容

本专利提出了一种基于Kibana的跟账数据准备方法及系统，通过使用爬虫技术结合Kibana系统的特点，对分库分表类型的金融类核心账务系统的交易报文进行自动化的获取，爬取后的交易报文可以为跟账过程提供跟账测试的输入数据以及用来比对的输出数据，实现跟账测试数据的自动化获取。

为实现以上目的，本发明所采用的技术方案包括：

一种基于Kibana的跟账数据准备方法，其特征在于，包括：

S1、获取Kibana的第一日志信息和第二日志信息，所述第一日志信息是交易的性能情况信息，所述第二日志信息是交易的内容信息；

S2、设置爬虫规则，所述爬虫规则包括需要爬取交易报文的交易信息和数量阈值，所述交易信息包括交易码范围、分库信息和交易处理时间戳范围；

S3、根据所述爬虫规则在第一日志信息中进行搜索匹配；

S4、获取在第一日志信息中爬取到的交易信息的流水号，将所述流水号作为查询条件查找第二日志信息；

S5、将查找到的第二日志信息中的交易报文作为跟账测试所需的请求报文和响应报文存储至数据库中；

S6、判断查找到的交易报文的数量是否达到阈值，

若查找到的交易报文的数量达到阈值，则停止查找；

若查找到的交易报文的数量未达到阈值，则重复S3至S5。

进一步地，所述性能情况信息包括交易流水号，数据库处理时间，内呼交易处理时间和交易处理单元所属分库信息。

进一步地，所述内容信息包括交易流水号，交易报文，交易处理时间戳，交易处理单元和交易码。