[发明专利]数据检测方法及装置

说明书

本申请实施例公开了一种数据检测方法，包括:接收质检用户通过用户交互界面输入的待检数据的检测请求；对所述检测请求按照预定条件进行有效性测试；响应于测试通过的情况，按照检测请求的所述数据检测周期和所述优先级加入任务队列，生成检测任务，并将所述检测任务发送至所述执行器；所述执行器按照异步方式执行所述检测任务，得到检测结果；将所述检测结果发送至所述用户交互界面，并按照所述预警方式提示所述质检用户。其能够保证数据的准确性、完整性、及时性。

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据检测方法、装置、电子设备及计算机可读介质。

背景技术

证券行业对证券信息数据服务商所提供数据的准确性、完整性、及时性有很高的要求，每个交易日有海量、繁杂的数据需要处理，同时也需要对数据的采集、处理、发布等各个环节进行全面检测与监控，来确保数据的准确性、完整性、及时性。目前大多都是依赖于人工或简单的工具如查询分析器等进行检查与处理。随着需要检测的数据日益增多，由此带来的是工作强度大、操作繁琐、问题发现和处理不及时、处理过程无法追踪及溯源等弊端。

发明内容

本申请实施例提供一种数据检测方法，其能够保证数据的准确性、完整性、及时性。

本申请实施例提供一种数据检测方法，所述方法应用于数据检测系统，该系统具有用户交互界面、执行器，包括:

接收质检用户通过用户交互界面输入的待检数据的检测请求，其中，所述待检数据的检测请求包括待检测对象名称及其属性数据、数据检测周期、预警方式，及所述质检用户定义；

对所述检测请求按照预定条件进行有效性测试；

响应于测试通过的情况，按照检测请求的所述数据检测周期和所述优先级加入任务队列，生成检测任务，并将所述检测任务发送至所述执行器；

所述执行器按照异步方式执行所述检测任务，得到检测结果；

将所述检测结果发送至所述用户交互界面，并按照所述预警方式提示所述质检用户。

在一些实施例中，所述响应于测试通过的情况，按照检测请求的所述数据检测周期和所述优先级加入任务队列，生成检测任务，包括：

利用异步任务处理器或定时任务分配器根据所述数据检测周期和所述优先级，将标注为激活状态的所述检测请求生成检测任务对象，放入队列管理工具Celery任务队列中，生成检测任务。

在一些实施例中，所述执行器按照异步方式执行所述检测任务，得到检测结果，包括：

所述执行器根据所述检测任务的数量启动多个队列管理工具Celery集群，按照异步方式执行所述检测任务，得到检测结果。

在一些实施例中，所述执行器按照异步方式执行所述检测任务，得到检测结果，包括：

当接收到所述启动检测任务指令时，队列管理工具Celery通过调度进程Beat向Redis队列发布检测任务；

所述队列管理工具Celery的工作进程采用竞争模式从所述Redis队列中获取并执行所述检测任务，获得所述检测结果。

在一些实施例中，所述检测对象名称包括宏引用，所述执行器按照异步方式执行所述检测任务，得到检测结果，包括：

查询是否存在所述宏引用对应的宏变量的当前值；

响应于不存在当前值的情况，重新执行所述宏变量，获取所述当前值；

响应于存在当前值的情况，获取所述当前值，并以JSON方式将其嵌入至所述检测任务中，执行所述检测任务，得到检测结果。

在一些实施例中，所述宏变量包括数据库及所述数据库连接参数，检测结果集，系统公共函数及参数。