[发明专利]报表数据的校验方法、系统和装置

说明书

本发明公开了一种报表数据的校验方法、系统和装置，所述方法包括检测与报表对应的后台数据库的新增更新数据是否已经具备；在后台数据库的新增更新数据已经具备时，加载所述报表；对所述报表进行截图处理，获取所述报表的图像；处理所述报表的图像，从所述报表的图像中获取数据的筛选条件和结果数据；根据所述筛选条件查询与所述报表对应的后台物理表，获取与所述筛选条件对应的后端数据；和对比同一筛选条件的结果数据和后端数据，完成报表数据的校验。本发明自动检测报表页面数据，在降低检测成本的同时，提高了效率；在数据一旦同步到了应用数据库即可进行页面数据的准确性检测，时效性高；而且避免了由于独立检测而造成的数据检测不全面的问题。

技术领域

本发明涉及数据处理技术领域，具体地说，涉及一种报表数据的校验方法、系统和装置。

背景技术

报表系统是一种最常见的数据产品，报表为需求人员提供各种各样的数据，包括绩效考核、日常运营、仪表盘以及分析挖掘的报告等。目前，为将数据展现在报表，系统需要完成以下流程：

步骤1，运行Python或Shell等程序，将计算结果数据存储在Hdfs文件中。

步骤2，将计算完的结果数据同步到应用数据库中，如Mysql、Impala、Hbase等应用数据库。

步骤3，采用Java后端代码处理展现逻辑，或采用报表工具，如Bo/Biee开发后端模型。

步骤4，采用Java前端进行页面展现逻辑处理，或者采用报表工具，如Bo/Biee开发前端进行页面展现逻辑处理。

用户登陆报表系统查看数据时，包括两个步骤：步骤1，登录报表系统，报表系统判断所述用户是否有权限，然后，步骤2，在用户有权限时，则依据所述用户的帐户获取相应的数据，并展现给用户。

从上述过程可见，需要经过四个环节的处理才能将数据展现到报表系统，用户看到报表系统的数据需要经过两个环节的处理，如果其中的任何一个环节出现了错误，那最终用户看到的数据就是错误的。如何保证每个环节不出问题，让用户看到的数据是正确的，一直是所有报表系统研发团队在思考的问题。

为了保证用户看到的数据是正确的，大部分采用数据质量监控系统来监控每天通过python/shell程序计算的数据结果是否正确，从而可以解决数据展现流程中的步骤1中可能出现的数据异常问题。在从步骤1到步骤2的同步过程中，现有同步文件系统中会自动检测数据文件的一致性，所以可以保证步骤1和步骤的数据一致性。

通过人工写SQL的方式，可以解决数据展现流程中步骤3、步骤4中可能出现的数据异常问题。采用人工点击报表系统上的每张报表，结合个人经验和SQL方式，可以解决用户查看数据流程步骤2中可能出现的数据异常问题，保证用户从页面上看到的数据和底层数据一致。

尽管在不同阶段采用了适应各自阶段的方案，但是仍有以下问题：

1)不全面性：执行SQL的方式只能判断页面处理逻辑是否正确以及后端底层数据是否正确，并不能确定用户打开页面看到的数据是否正确。

2)高成本、低效性：上述人工点击报表的方式，只能确认报表是否能正常打开和是否有数据展现出来，而不能判断展现出来的数据和后端底层的数据是否一致。

3)滞后性：纯靠人工方式来保证页面和后端数据一致性，存在很严重的滞后性，很多时候报表系统用户先发现问题，用户体验不好，不能做到提前告知用户数据准确与否。

发明内容

本发明要解决的技术问题在于，对报表数据的校验不全面、采用人工点击报表存在高成本、低效性及滞后性，提供了一种报表数据的校验方法、系统和装置。

为解决上述技术问题，根据本发明的一个方面，提供了一种报表数据的校验方法，其中，包括：

检测与报表对应的后台数据库的新增更新数据是否已经具备；