[发明专利]一种提高应用系统在关系数据库的空间与时间效率的方法

说明书

本发明涉及关系数据库的查询缓存优化技术领域，具体涉及一种通过机器学习提高应用系统在关系数据库的空间与时间效率的方法。本发明方法通过分析特定应用系统的查询语句，把查询语句分解为解析树，通过解析树把查询语句按查询字段、查询表、查询条件，相应应用MLFU、LFU、FP‑groupth算法，并通过回归算法计算出按查询字段、查询表、查询条件作为输入得出计算查询语句的缓存阀值计算公式，这样在应用系统进行查询时，通过阀值计算公式，判断查询的数据是否可能在缓存空间中、或是否需要缓存到空间上。本发明可广泛应用于查询频率大、缓存空间有限、时间要求高的应用系统，作为优化读取关系数据库数据一种方法。

技术领域

本发明涉及关系数据库的查询缓存优化技术领域，具体涉及一种通过机器学习提高应用系统在关系数据库的空间与时间效率的方法。

背景技术

数据查询缓存在各种关系数据库上普遍都有实现，实现过程基本是，查询数据时，通过解析查询语句，判断要查询的数据库是否存在于缓存中，如果存在则直接从缓存中读取数据并返回；如果数据不存在于缓存中，则从数据文件中读取数据，并保存到缓存中用于下次的数据查询。在这个实现的过程中，由于没有判断数据的读取频率、读取的字段、条件等，在每次读取数据时，都要进行数据的缓存，所以关系数据库每次都要维护一次缓存的操作，如果缓存空间不足，还每次要进行LFU的替换算法，这导致在每次查询时，数据缓存的空间与时间效率较低，需要进行改进。

发明内容

本发明通过预先机器学习，从而得出缓存阀值计算公式用于数据查询时的阀值计算，判断是否要对数据进行缓存，从而优化了传统数据库在查询是每次都要进行缓存的问题，减少了数据缓存的空间与每次缓存时的中断替换时间，提高了数据查询的效率。

本发明解决上述技术问题的技术方案是：

通过分析特定应用系统的查询语句，把查询语句分解为解析树，通过解析树把查询语句按查询字段、查询表、查询条件，相应应用MLFU、LFU、FP-groupth算法，按查询字段、查询表、查询条件作为输入，通过回归算法计算得出查询语句的缓存阀值计算公式；在应用系统进行查询时，通过阀值计算公式，判断查询的数据是否可能在缓存空间中、或是否需要缓存到空间上。

对应用系统特定的查询语句的分析、通过机器学习用回归算法得出缓存阀值计算公式后实现数据查询的优化，分为查询语句机器学习与查询缓存策略两部分。

在查询语句机器学习时，需把应用系统的所有查询语句获取到，并对所有的查询语句按查询字段、查询表、查询条件分解为解析树。

在所有查询语句分解为解析树后，查询字段、查询表、查询条件分别应用MLFU、LFU、FP-Groupth算法，分别计算出各种查询字段、查询表、查询条件在所有查询语句中的比率，并按从高到低的顺序排序；

分析查询字段、查询表、查询条件的数量，对于大于一定比率的查询语句，表示是经常要使用到的，在进行打分时，设置为1，低于一定比率的查询语句，表示不经常使用到，在打分时设置为0，这样三种情况，得出了从0到7的8种分数；

通过查询字段、查询表、查询条件的占所有查询结果的比率，与最终的0到7的打分，形成最终的回归分析基础数据，从而得出按查询字段、查询表、查询条件作为输入的查询语句是否需要缓存的阀值计算公式，用于数据查询时的缓存参考。

在通过机器学习得出缓存阀值计算公式后，把计算公式写入到缓存系统中，在数据查询输入语句时，系统先对查询语句按查询字段、查询表、查询条件进行分解成解析树，并获取查询字段、查询表、查询条件的在所有查询语句中的占比，输入缓存阀值计算公式，得出查询语句的缓存阀值；

当缓存阀值小于应用系统指定的定值时，表示查询语句相对比较少使用到，所以此查询语句查询的数据不需要缓存，在缓存空间上也不会存在，数据直接从数据文件上读取，并返回给用户；