[发明专利]一种批量处理SQL语句插入数据库的方法及系统

说明书

技术领域

本发明涉及数据处理技术领域，更具体地说，涉及一种批量处理SQL语句插入数据库的方法及系统。

背景技术

在互联网大数据背景下，每天数据库都要增加庞大的数据，这就要求必须及时高效的存储数据。现有技术为了满足SQL语句实时插入数据库，都是一次提交执行一条语句插入，效率低，存储性能差，在数据大并发的情况下，这样将语句插入数据库会是影响服务器性能的一大瓶颈。

发明内容

本发明提出一种批量处理SQL语句插入数据库的方法和系统，每隔一个计时周期批量处理存储好的SQL语句，快速高效，存储性能好。

为此，本发明提出以下技术方案：

第一方面，一种批量处理SQL语句插入数据库的方法，包括：

A、存储非马上插入数据库类型的SQL语句；

B、在当前计时周期结束时，若存储的SQL语句的数量达到第一阈值，则执行步骤C，否则重新开始当前计时周期并返回步骤A；

C、将当前计时周期结束时存储的所有SQL语句插入数据库，并清除当前计时周期结束时已存储的所有SQL语句。

其中，所述步骤B包括：在当前计时周期结束时，根据存储的SQL语句的数量设置当前计时周期，重新开始当前计时周期并返回步骤A。

其中，所述当前计时周期为第一时间；

所述根据存储的SQL语句的数量设置当前计时周期，包括：

若存储的SQL语句的数量大于或等于第一阈值，保持当前计时周期为第一时间，否则，将当前计时周期设置为第二时间，所述第二时间大于第一时间。

其中，所述当前计时周期为第二时间；

所述根据存储的SQL语句的数量设置当前计时周期，包括：

若存储的SQL语句的数量大于或等于第一阈值且小于第二阈值，保持当前计时周期为第二时间；若存储的SQL语句的数量小于第一阈值，将当前计时周期设置为第三时间；若存储的SQL语句的数量大于或等于第二阈值，将当前计时周期设置为第一时间；所述第三时间大于第二时间。

其中，所述当前计时周期为第三时间；

所述根据存储的SQL语句的数量设置当前计时周期，包括：

若存储的SQL语句的数量小于第一阈值，保持当前计时周期为第三时间；若存储的SQL语句的数量大于或等于第一阈值，将当前计时周期设置为第二时间。

其中，第一阈值为10，第二阈值为15，第一时间为300ms，第二时间600ms，第三时间为900ms。

第二方面，一种批量处理SQL语句插入数据库的系统，包括：

转存模块，用于将非马上插入数据库类型的SQL语句存储到临时存储模块；

处理模块，用于在当前计时周期结束时，若存储的SQL语句的数量达到第一阈值，则将当前计时周期结束时存储的所有SQL语句插入数据库，并清除临时存储模块中的在当前计时周期结束时已存储的所有SQL语句；否则重新开始当前计时周期。

其中，所述处理模块包括：

插入清除单元，用于在当前计时周期结束时，若存储的SQL语句的数量达到第一阈值，则将当前计时周期结束时存储的所有SQL语句插入数据库，并清除所述所有SQL语句；

时间设置单元，用于：在当前计时周期结束时，根据存储的SQL语句的数量设置当前计时周期，重新开始当前计时周期。

其中，所述当前计时周期为第一时间；

所述时间设置单元具体用于：

若存储的SQL语句的数量大于或等于第一阈值，保持当前计时周期为第一时间，否则，将当前计时周期设置为第二时间，所述第二时间大于第一时间；

所述当前计时周期为第二时间；

所述时间设置单元具体用于：

若存储的SQL语句的数量大于或等于第一阈值且小于第二阈值，保持当前计时周期为第二时间；若存储的SQL语句的数量小于第一阈值，将当前计时周期设置为第三时间；若存储的SQL语句的数量大于或等于第二阈值，将当前计时周期设置为第一时间；所述第三时间大于第二时间；

所述当前计时周期为第三时间；

所述时间设置单元具体用于：

若存储的SQL语句的数量小于第一阈值，保持当前计时周期为第三时间；若存储的SQL语句的数量大于或等于第一阈值，将当前计时周期设置为第二时间。

其中，第一阈值为10，第二阈值为15，第一时间为300ms，第二时间600ms，第三时间为900ms。