[发明专利]一种海量数据自助查询方法和装置

说明书

本发明公开了海量数据自助查询方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取数据查询任务，根据对应集市的资源利用情况，确定执行当前任务的执行队列；以及通过客户端使用情况，为当前任务分配执行客户端；根据确定的执行队列和执行客户端，发送数据查询任务至对应的执行客户端，以获得查询结果。该实施方式能够实现易用的、高效的一站式自助数据查询。

技术领域

本发明涉及计算机技术领域，尤其涉及一种海量数据自助查询方法和装置。

背景技术

大数据时代从海量的数据中抓取有效信息，通过数据分析和数据挖掘技术从这些海量数据中提取对企业决策分析有用的信息成为企业决策管理人员所面临的重要难题。如何在海量数据的基础上实现快速、高效的关键性数据提取，如何解决分析需求的高速增长问题随之而来。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

现有数据查询都是全部依靠人工完成：线上的堡垒机授权，只有通过登录堡垒机才能进行数据查询。然后，每天人工定时任务执行分析脚本，通过命令行操作完成数据查询命令。人工监控数据查询执行进展，不能并行执行其他任务。以及，人工通过命令行操作完成数据查询结果的下载，并且保存到本机之后再进行数据分析、数据挖掘等。

发明内容

有鉴于此，本发明实施例提供一种海量数据自助查询方法和装置，能够实现易用的、高效的一站式自助数据查询。

为实现上述目的，根据本发明实施例的一个方面，提供了一种海量数据自助查询方法，包括获取数据查询任务，根据对应集市的资源利用情况，确定执行当前任务的执行队列；以及通过客户端使用情况，为当前任务分配执行客户端；根据确定的执行队列和执行客户端，发送数据查询任务至对应的执行客户端，以获得查询结果。

可选地，获取数据查询任务，包括：配置数据订阅任务，将任务信息提交至订阅任务定时执行器；订阅任务定时执行器解析当前时间需要执行的数据订阅任务，并将该任务进行参数封装；

或者，获取数据查询任务，包括：配置数据查询信息，以将配置后的数据查询信息进行封装。

可选地，获取数据查询任务之后，还包括：

解析数据查询任务，提取权限参数，以根据预设的用户权限完成对所述权限参数的校验。

可选地，根据对应集市的资源利用情况，确定执行当前任务的执行队列，包括：

根据数据查询任务中的执行引擎，获取支持所述执行引擎的执行队列；根据执行队列运行的任务数量和各个任务的完成度信息，选取最优队列作为执行队列。

可选地，通过客户端使用情况，为当前任务分配执行客户端，包括：

根据运行任务数量将各客户端进行排序，以选取运行任务数量最少的客户端；判断所述运行任务数量最少的客户端是否唯一，若是则直接将所述客户端作为执行客户端，否则计算所述客户端的权重比值，以选取权重比值小的客户端为执行客户端。

可选地，获得查询结果，包括：

通过查询引擎执行数据查询任务，获得查询结果的同时生成任务执行日志并保存；以及将查询结果推送到搜索服务器，以通过报表的形式查看查询结果。

另外，根据本发明实施例的一个方面，提供了一种海量数据自助查询装置，包括获取模块，用于获取数据查询任务；分配模块，用于根据对应集市的资源利用情况，确定执行当前任务的执行队列；以及通过客户端使用情况，为当前任务分配执行客户端；查询模块，用于根据确定的执行队列和执行客户端，发送数据查询任务至对应的执行客户端，以获得查询结果。

可选地，所述获取模块获取数据查询任务，包括：配置数据订阅任务，将任务信息提交至订阅任务定时执行器；订阅任务定时执行器解析当前时间需要执行的数据订阅任务，并将该任务进行参数封装；