[发明专利]大数据环境下提高数据库性能的方法及系统

摘要

本发明公开了一种大数据环境下提高数据库性能的方法及系统。所述系统包括数据库系统、插入系统、删除系统、更新系统、查询系统和归并系统，所述方法包括如下步骤定义数据库结构，将数据插入数据库，删除数据库数据记录，更新数据库数据，更新数据库数据，归并数据库主从表，所述将数据插入数据库包括在插入数据到达后写入缓存并设置相应的字段内容，然后设置调度位为可调度，根据缓存策略将数据插入从表并设置相应的字段内容后更新依赖缓存并设置调度标志位。本发明的有益效果是本发明通过改善原有数据库，分别对缓存和增量数据进行处理，提高了大数据环境下数据的插入、查询效率，减少了数据处理延时，提升了数据库性能。

主权项

大数据环境下提高数据库性能的方法，其特征在于，包括如下步骤：S1.定义数据库结构；S2.将数据插入数据库；S3.删除数据库数据记录；S4.更新数据库数据；S5.查询数据库数据；S6.归并数据库主从表；其中，所述步骤S2将数据插入数据库具体包括如下分步骤：S201.插入数据到达后进行数据插入操作；S202.将数据写入从缓存；S203.在数据写入从缓存时写入主表字段、数据写入时间字段和是否已存入主表字段，并将是否已存入主表字段置为0；S204.设置调度位为可调度；S205.根据缓存策略，当系统空闲或规定时间到来时，执行缓存更新，提高数据的写入性能；S206.将数据插入从表，进行永久化存储；S207.在数据插入从表时写入主表字段、数据写入时间字段和是否已存入主表字段；S208.若有多个缓存依赖从表，则需要对这些与从表有依赖关系的缓存进行更新；S209.设置主从表的归并调度标志位，归并程序将依此进行归并调度，从而使得从表不至于过大，影响数据库性能，完成数据插入；其中，所述步骤S5查询数据库数据具体包括如下分步骤：S501.判断所要查询的数据是否存在缓存中；S502.数据存在缓存中，则进入缓存查询；S503.在主缓存中进行查询；S504.在从缓存中进行查询；S505.数据不存在缓存中，但能够检索，则进入数据库表查询；S506.在主表中进行查询；S507.在从表中进行查询；S508.数据不存在缓存中，且不能检索，则根据缓存生成策略，判断是否需要生成此缓存；S509.不需要生成此缓存则放弃；S510.需要生成此缓存则将查询结果保存为主缓存，并建立缓存索引；S511.需要生成此缓存则将查询结果保存为从缓存，并建立缓存索引；S512.合成查询的结果，并根据策略决定是否需要进行排序；其中，所述步骤S6归并数据库主从表具体包括如下分步骤：S601.根据从表大小、系统空闲、规定时间段设置调度主从表合并程序的策略，此部分在部署系统设定，或由数据库管理员进行修改；S602.判断是否满足步骤601的策略条件及由插入或新增操作所设定的调度位；S603.若满足则判断从表中是否有数据；S604.若从表中有数据，则判断是否在主表中字段是否为0，防止归并操作中断；S605.若是否在主表中字段为1，则跳过该从表，重复步骤S603；S606.若是否在主表中字段为0，则进行合并操作:将主表进行分开，形成多个分表，以分表为单位，将从表中的数据写入主表中，然后重复步骤S603；S607.若从表中没有数据，则合并主从缓存；S608.将合并的主从缓存删除，提高操作速度；S609.删除从表并重新创建从表；S610.重新创建从缓存，完成本次归并操作。