[发明专利]一种数据缓存方法和装置

说明书

本发明公开了一种数据缓存方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：监听分布式调度中心的各个节点；其中，所述节点的目录与各个数据库中的各个数据表一一对应，所述节点保存的节点信息包括所述节点对应的数据表的数据变更时间戳；若监听到所述节点保存的节点信息发生变更，则根据所述节点的目录和变更后的节点信息生成缓存标识和布隆过滤器；将所述缓存标识与所述布隆过滤器关联，并将所述缓存标识及其对应的布隆过滤器存储至过滤器集合中。该实施方式能够解决开发难度大、内存不均、阻塞查询或者数据不一致的技术问题。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据缓存方法和装置。

背景技术

在大数据分析场景下，ClickHouse(列式存储引擎)以其优秀的底层设计和良好的查询性能，深受数据分析者的青睐，目前在联机分析领域有着广泛的应用。

但是，在ClickHouse提供良好数据分析能力的同时，由于要保持高性能的查询能力，引擎内部会很大程度的利用CPU资源，这导致 ClickHouse并不适合处理特别高频的操作，这些高频操作包括写入、查询、修改等操作，用户在使用ClickHouse时，往往面临查询QPS(每秒查询率)受限的问题。

面对提高数据库并发查询的场景，在不考虑复杂的底层存储引擎升级方案，一种有效的解决思路是提供前置缓存方案来实现数据的一次查询多次使用。

然而，目前常用的缓存方案存在以下技术问题：

面对大结果集的查询，存在内存不均、阻塞查询的风险。

发明内容

有鉴于此，本发明实施例提供一种数据缓存方法和装置，以解决开内存不均和阻塞查询的技术问题。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据缓存方法，应用于服务端，包括：

监听分布式调度中心的各个节点；其中，所述节点的目录与各个数据库中的各个数据表一一对应，所述节点保存的节点信息包括所述节点对应的数据表的数据变更时间戳；

若监听到所述节点保存的节点信息发生变更，则根据所述节点的目录和变更后的节点信息生成缓存标识和布隆过滤器；

将所述缓存标识与所述布隆过滤器关联，并将所述缓存标识及其对应的布隆过滤器存储至过滤器集合中。

可选地，所述缓存标识包括所述节点的目录和所述节点对应的数据表的数据变更时间戳。

可选地，所述分布式调度中心从消息队列中获取消息，解析所述消息以得到数据库信息、数据表信息和数据变更时间戳，从而变更所述数据库和所述数据表对应的节点保存的节点信息；

其中，所述消息由数据存储引擎生成并写入所述消息队列中。

可选地，将所述缓存标识及其对应的布隆过滤器存储至过滤器集合中之后，还包括：

配置所述布隆过滤器的失效时间戳；其中，所述失效时间戳为当前时间戳加上失效时长，所述失效时长大于所述数据存储引擎的批写入周期。

另外，根据本发明实施例的另一个方面，提供了一种数据缓存方法，应用于客户端，包括：

监听分布式调度中心的目标节点；其中，所述分布式调度中心的节点的目录与各个数据库中的各个数据表一一对应，所述目标节点保存的节点信息包括所述目标节点对应的数据表的数据变更时间戳；

若监听到所述目标节点保存的节点信息发生变更，则拉取变更后的节点信息。

可选地，还包括：

接收数据查询请求；其中，所述数据查询请求携带数据库信息、数据表信息和入参；