[发明专利]一种数据查询方法和装置

说明书

本发明公开了一种数据查询方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：接收用户的数据查询任务，并将数据查询任务提交到与用户所属的用户群组对应的虚拟服务器；通过与用户所属的用户群组对应的虚拟服务器从对应的多个预设的任务代理服务器中筛选出可用任务代理服务器，并将数据查询任务分配到该可用任务代理服务器；通过可用任务代理服务器将数据查询任务提交到分布式集群以执行数据查询。该实施方式能够有效避免了不同团队平台用户对资源的争抢情况，并避免了任务代理服务器资源饱和而影响其他查询任务的情况，还可审计数据查询的历史轨迹。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据查询方法和装置。

背景技术

目前很多中大型企业基于Hadoop(一个由Apache基金会所开发的分布式系统基础架构)技术生态系统建设了大数据平台与云平台，其最主要用途是实现大规模数据、多类数据源、大量数据计算，实现BI(Business Intelligence，即商务智能)数据统计分析，并提供企业决策支持与业务生产支持。如何在分布式集群中提供便捷、易用的数据查询服务，以快速响应不同人群的业务统计分析、数据提取、数据查询需求，是大数据平台建设的重要内容。

目前的大数据查询实现方案主要是在开源Hadoop集群架构中通过采用Hadoop集群客户端提交Hive(基于Hadoop的一个数据仓库工具)查询命令，或者采用第三方厂商的大数据平台产品实现大数据查询。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

现有Hadoop原生架构中的集群客户端命令界面不便于各类业务与技术人员快速使用，需要申请对应的客户端权限，且现有Hadoop原生架构中的集群客户端命令界面操作繁琐，不便于快速上手使用；

采购第三方产品不利于进行功能扩展，且采购费用高昂，不适用与大中型企业规模化应用。

发明内容

有鉴于此，本发明实施例提供一种数据查询方法和装置，能够实现了一种对平台用户集群资源隔离、提交任务的任务代理服务器隔离且能自动分配任务代理服务器来运行大数据查询任务的简单易用的可视化数据查询机制，有效避免了不同团队平台用户对资源的争抢情况，并避免了任务代理服务器资源饱和而影响其他查询任务的情况，还可审计数据查询的历史轨迹。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据查询方法。

一种数据查询方法，预先设置与各用户群组一一对应的虚拟服务器，且每个虚拟服务器与分布式集群中的多个预设的任务代理服务器相对应，所述方法包括：接收用户的数据查询任务，并将所述数据查询任务提交到与所述用户所属的用户群组对应的虚拟服务器；通过与所述用户所属的用户群组对应的虚拟服务器从对应的多个预设的任务代理服务器中筛选出可用任务代理服务器，并将所述数据查询任务分配到该可用任务代理服务器；通过所述可用任务代理服务器将所述数据查询任务提交到所述分布式集群以执行数据查询。

可选地，接收用户的数据查询任务的步骤之前，包括：接收并保存查询配置信息，所述查询配置信息包括对各虚拟服务器的配置信息、对各任务代理服务器的配置信息、以及对用户权限的配置信息。

可选地，通过Web可视化界面接收所述查询配置信息和所述用户的数据查询任务。

可选地，将所述数据查询任务提交到与所述用户所属的用户群组对应的虚拟服务器的步骤，包括：判断与所述用户所属的用户群组对应的虚拟服务器的当前并发任务数是否小于预设的并发任务数上限值，若是，则将所述数据查询任务立即提交到与所述用户所属的用户群组对应的虚拟服务器，否则，等待所述当前并发任务数小于所述预设的并发任务数上限值时再将所述数据查询任务提交到与所述用户所属的用户群组对应的虚拟服务器。