[发明专利]一种优化异构数据库用户查询的负载均衡方法及装置

说明书

本发明公开了一种优化异构数据库用户查询的负载均衡方法及装置，涉及计算机和云服务技术领域。该优化异构数据库用户查询的负载均衡方法，包括以下步骤：获取输入的查询语句；根据特定的分类器规则对查询语句进行区分类型；利用负载均衡器动态地分配与查询类型对应的硬件资源，以处理查询语句；利用布隆过滤器根据查询类型执行相应的过滤；将查询结果返回给用户。本发明通过在处理用户不同类型的查询语句的过程中运用了包括离线训练模块和实时优化模块的负载均衡器达到了系统性能的提升，保障了用户的在线查询，解决了在异构数据库系统中没有适合的负载均衡优化方法以处理用户查询语句的问题。

技术领域

本发明涉及计算机和云服务技术领域，尤其涉及一种优化异构数据库用户查询的负载均衡方法及装置。

背景技术

随着数据量的增长，基于数据的在线分析处理(OLAP)的复杂度也随之增加。目前，使用不同硬件的异构数据库系统看起来很有前景，如基于GPU的数据库，Kinet ica、OmniSci(MapD)已经成为OLAP数据库中的新热门。这些数据库使用GPU进行加速可以提高系统的性能。负载均衡，是一种计算机技术，用来在多个计算机(计算机集群)、网络连接、CPU、磁盘驱动器或其他资源中分配负载，以达到最优化资源使用、最大化吞吐率、最小化响应时间、同时避免过载的目的。相应的，负载均衡模型分为静态与动态，一方面，静态负载均衡模型在系统运行之前，通过考虑系统的参数来预先确定了负载分配的决策；另一方面，动态负载均衡模型可以根据时间戳，动态的根据系统的当前状态以及数据来进行决策功能。

现有的在异构数据库系统中处理用户的查询请求的方法包括：1)将查询语句通常发送到性能最强大或速度最快的硬件资源进行处理；2)用基于机器学习的方法来优化异构系统(由多个CPU、GPU组成的系统)的负载分配，例如，预测适合运行当前查询语句的设备、CPU、GPU，并通过预测的设备对查询语句进行处理；3)用基于机器学习的负载均衡器来预测集群内服务器的状态，选择状态正常的服务器对查询语句进行处理，基于该预测，能够避免将用户查询语句分配到存在延迟的服务器。

但本申请发明人在实现本申请实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：

现有的在异构数据库系统中处理用户查询请求的方法由于异构的特性，所以当用户请求密集，数据库在利用不同的计算硬件(如CPU和GPU)时，不能很好的考虑到负载均衡问题，且将查询语句通过性能最强大或速度最快的设备并不一定会产生最佳性能；现有通过预测适合运行查询语句的设备的方法和现有通过预测集群内服务器状态选择适合处理查询的服务器的方法中均未考虑集群的异构特性。综上所述，现有在异构数据库系统中没有适合的负载均衡优化方法以处理用户查询语句。

发明内容

本申请实施例通过提供一种优化异构数据库用户查询的负载均衡方法及装置，解决了现有技术中在异构数据库系统中没有适合的负载均衡优化方法以处理用户查询语句的技术问题，实现了系统性能的提升，保障了用户的在线查询。

本申请实施例提供了一种优化异构数据库用户查询的负载均衡方法，包括以下步骤：

S1，获取输入的查询语句；

S2，根据特定的分类器规则对查询语句进行区分类型；

S3，利用负载均衡器动态地分配与查询类型对应的硬件资源，以处理查询语句；

S4，利用布隆过滤器根据查询类型执行相应的过滤；

S5，将在异构数据库中查询到的结果返回给用户。

进一步的，所述S1中的查询语句被获取后需要根据语法规则转换为异构数据库内核引擎使用的JSON格式。

进一步的，所述S2中的特定的分类器规则包括：

规则1：查询语句只关注整列的所有信息；

规则2：查询语句查询单个列中的特定值；