[发明专利]一种连接池调度方法及装置

说明书

本发明提供一种连接池调度方法及装置，该方法为：判断用于执行连接池调度的设备对应的处理器使用率和内存使用率是否都大于阈值；若是，减少多个连接池的配置时间，得到新配置时间；若否，确定在第一预设时间内每一连接池对应的数据源的访问次数；基于所有数据源的访问次数，配置每一连接池的最大连接数和最小连接数；在第二预设时间内，若数据库连接超时的次数大于次数阈值，增加数据库对应的超时时间，得到新超时时间。在本方案中，通过处理器和内存的使用情况，以及根据向数据源请求获取数据的频率，调整每个连接池的配置信息，提高后台系统的系统资源利用率。

技术领域

本发明涉及数据处理技术领域，具体涉及一种连接池调度方法及装置。

背景技术

随着科学技术的发展，数据以爆炸性的形式进行增长，各式各样的数据源也被逐渐应用于各行各业。

对于Hive和Impala等数据源，通常是启用连接池的方式与数据源进行连接，并对数据源中的数据进行相应操作。但是在后台系统中，通常存在多个数据源和多个连接池的情况，当向数据源请求获取数据的频率过高时，多个连接池之间的资源调度会出现不均衡的情况，浪费后台系统的系统资源。

因此，目前亟需一种能合理调度多个连接池的方法。

发明内容

有鉴于此，本发明实施例提供一种连接池调度方法及装置，以解决当向数据源请求获取数据的频率过高时浪费系统资源的问题。

为实现上述目的，本发明实施例提供如下技术方案：

本发明实施例第一方面公开一种连接池调度方法，所述方法包括：

判断用于执行连接池调度的设备对应的处理器使用率和内存使用率是否都大于阈值；

若是，减少所述设备对应的多个连接池的配置时间，得到新配置时间；

若否，确定在第一预设时间内每一所述连接池对应的数据源的访问次数；

基于所有所述数据源的访问次数，配置每一所述连接池的最大连接数和最小连接数；

在第二预设时间内，若数据库连接超时的次数大于次数阈值，增加所述数据库对应的超时时间，得到新超时时间。

优选的，所述基于所有所述数据源的访问次数，配置每一所述连接池的最大连接数和最小连接数，包括：

根据每一所述数据源的访问次数，将预设的总连接数按比例分配给每一所述连接池，作为每一所述连接池的最大连接数；

针对每一所述连接池，将所述连接池的最小连接数设置为所述最大连接数的预设百分比。

优选的，所述将预设的总连接数按比例分配给每一所述连接池，作为每一所述连接池的最大连接数，包括：

获取所有所述连接池中预设的特殊连接池当前的第一最大连接数；

将预设的总连接数按比例分配给每一所述连接池，得到每一所述连接池的第二最大连接数；

确定所述特殊连接池的第一最大连接数是否大于所述特殊连接池的第二最大连接数；

若否，将每一所述连接池的第二最大连接数作为每一所述连接池最新的最大连接数；

若是，将所述特殊连接池的第一最大连接数作为所述特殊连接池最新的最大连接数，以及将所述总连接数与第一最大连接数的差值按比例分配给其余所述连接池，得到其余所述连接池最新的最大连接数。

优选的，所述减少所述设备对应的多个连接池的配置时间，得到新配置时间，包括：

针对所述设备对应的每一连接池，分别减少所述连接池对应的最大等待时间、查询空闲时间和连接空闲时间，得到新最大等待时间、新查询空闲时间和新连接空闲时间。