[发明专利]一种基于数据库日志扫描的数据库缓存系统

说明书

本发明提供了一种基于数据库日志扫描的数据库缓存系统，包括数据库日志扫描子系统、表数据抓取子系统、表关联分析子系统、缓存因子分析子系统、缓存失效分析子系统、sql引擎子系统和数据访问接口；本发明的能够有效的降低应用对数据库的访问，大部分的查询操作都可以从缓存中直接返回，既提高了数据访问性能，同时也降低了数据库的负载。

技术领域

本发明涉及关系型数据库技术领域，尤其涉及一种基于数据库日志扫描的数据库缓存系统。

背景技术

随着互联网的飞速发展，数据变得越来越重要，关系型数据库作为传统的数据存储载体正在得到广泛的应用，几乎各行各业都会将行业数据存储到数据库中。应用规模不断扩大，访问用户数量一直在增加，存储的数据越来越多，数据访问越发频繁，对数据库性能的要求越来越大，在一些大规模的数据应用中，数据库成为了性能瓶颈，无法支撑应用访问。为了解决这个问题，出现了众多的性能解决方案，基本的思路是采用数据集群和负载均衡方式分担应用访问压力，但是这种方式有着如下的缺点：

(1)集群方式构建复杂，对业务人员要求较高，不同的数据库厂商支持的集群方式各不相同，导致业务人员维护成本增加。

(2)硬件和软件成本增加，直接导致系统的研发和维护成本增加。

(3)据统计，业务应用的数据访问中，超过9成都是数据查询访问，因此数据库访问压力集中体现在数据查询访问的压力。每当进行一个数据库查询时关系型数据库系统都需要去访问磁盘从磁盘中获取数据返回给应用。磁盘访问速度相对较慢，大量数据访问同时到来时磁盘IO就会成为瓶颈。所以如果能够将访问频繁的数据缓存到内存中就可以有效的解决这个问题，避免了采用数据集群方式。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于数据库日志扫描的数据库缓存系统，该系统将频繁访问的数据缓存到内存中，并且通过数据库日志扫描捕捉数据库变化，及时更新缓存。数据应用查询数据时就将缓存的数据返回给应用，既加速了数据访问效率，同时也降低了数据库负载。

为了实现上述目的，本发明提供一种基于数据库日志扫描的数据缓存系统，包括数据库日志扫描子系统、表数据抓取子系统、表关联分析子系统、缓存因子分析子系统、缓存失效分析子系统、sql引擎子系统和数据访问接口；

所述系统缓存的是数据库中的每一张表的数据，简称为数据表；

其中，数据库日志扫描子系统、表数据抓取子系统、表关联分析子系统、缓存因子分析子系统、缓存失效分析子系统、sql引擎子系统构成了数据库缓存系统的服务端，数据访问接口构成了数据库缓存系统的客户端；

所述数据库日志扫描子系统用于，扫描数据库重做日志，从数据库重做日志中捕捉数据变化，将数据变化通知给表数据抓取子系统；

所述缓存因子分析子系统用于，分析表访问的关联关系，根据每张表的访问频率、和其他表被访问的关联关系，以及表数据内容，计算表的缓存因子；缓存因子值越大，表被缓存的可能性越高。

所述表数据抓取子系统用于，根据表的缓存因子从后台数据库抓取数据，将数据缓存到内存中，每张表以表名字为索引，表的所有记录值为内容存放；

所述表关联分析子系统用于，对数据表的访问情况进行统计分析，分析表之间访问顺序以及访问的关联关系，形成数据表之间的关联因子；

所述缓存失效分析子系统用于，针对缓存未命中的情况对缓存因子进行调整，提升缓存命中效率；

所述sql引擎子系统用于，对应用的sql访问请求进行解析，解析出sql语句的操作以及操作对应的对象，然后根据解析结果进行相应的处理，并将处理结果返回给应用；