[发明专利]一种向数据库插入数据的方法及装置

说明书

技术领域

本发明涉及数据库技术领域，尤其涉及一种向数据库插入数据的方法及装置。

背景技术

关系数据库是建立在关系模型基础上的数据库，其借助于集合代数等数学概念和方法来处理数据库中的数据，譬如，ＭｙＳＱＬ就是一个关系型数据库管理系统。ＭｙＳＱＬ数据库既支持单行的插入操作，也支持多行批量插入操作。例如：单行插入操作的形式为：ｉｎｓｅｒｔ ｉｎｔｏ ｔａｂｌｅ_ａ ｖａｌｕｅｓ（ａ1， ｂ1，ｃ1），表示将数组（ａ1，ｂ1，ｃ1）插入到表ｔａｂｌｅ_ａ中；多行插入操作的形式为：ｉｎｓｅｒｔ ｉｎｔｏ ｔａｂｌｅ_ａ ｖａｌｕｅｓ（ａ1，ｂ1，ｃ1），（ａ2，ｂ2，ｃ2），表示将数组（ａ1，ｂ1，ｃ1）和（ａ2，ｂ2，ｃ2）插入到表ｔａｂｌｅ_ａ中。一般而言，若需要插入相同数目的行，一次多行插入操作的效率要比多次单行插入的效率要高，举个例子，当往同一个表中插入10行数据时，一次批量插入操作比10次单行插入效率要高很多。

现有方案中，在多线程环境下，每个线程有自己单独的缓冲区，即缓冲区不会横跨线程。当需要向数据库的表ｔａｂｌｅ_ａ中插入多行数据时，若每行数据中的数据顺序均相同、且每行数据都没有缺失的情况下，则将所述多行数据放入对应线程的缓冲区中，待所述缓冲区中的数据行数达到设定阈值时，便将所述多行数据批量插入到数据库中的表ｔａｂｌｅ_ａ中；若因某行数据中存在缺省项导致需要插入的行数据顺序与数据库中的行数据顺序不对应，则对该行数据进行处理并采用单行插入的方式将该行数据插入到数据库中。

但是，由于每个线程单独拥有缓冲区，每个缓冲区只有达到阈值要求时才能进行批量插入，基于数据较大地分散在各个线程的缓冲区中，若缓冲区中的行数据数量长时间不能满足阈值要求，将导致缓冲区的行数据长时间处于等待的状态，从而降低了数据插入的效率，若采用单行插入的方式将导致数据插入效率较低。

发明内容

有鉴于此，本发明实施例的主要目的在于提供一种向数据库插入数据的方法及装置，以实现提高数据插入效率的目的。

为实现上述目的，本发明提供了一种向数据库插入数据的方法，所述数据库中的每个数据表与一个计数器、一个缓冲区和一个读写锁相互对应，所述方法包括：

获取需要向所述数据库的第一数据表插入的行数据，所述行数据中的每个数据项与所述第一数据表中的每个字段一一对应，所述第一数据表与第一计数器、第一缓冲区和第一读写锁相互对应；

按照下述方式完成向数据库插入数据的操作：

使所述第一计数器累加一个计数，并将所述行数据放入所述第一缓冲区中；判断所述第一计数器中的计数值是否达到设定阈值；如果是，则使所述第一计数器中的计数值置为零，将所述第一缓冲区中缓冲的所有行数据放入所述第一数据表中，清除所述第一缓冲区中缓冲的所有行数据，继续执行所述获取需要向所述数据库的第一数据表插入的行数据的步骤；如果否，则继续执行所述获取需要向所述数据库的第一数据表插入的行数据的步骤；其中，在至少一次的所述第一读写锁的访问控制期间完成上述操作中的读写操作，所述第一读写锁的访问控制期间是从开启所述第一读写锁后到关闭所述第一读写锁前的期间。

优选地，具体按照下述方式完成向数据库插入数据的操作：

在第一次开启所述第一读写锁的写模式后、且在第一次关闭所述第一读写锁的写模式前，使所述第一计数器累加一个计数，并将所述行数据放入所述第一缓冲区中；

判断所述第一计数器中的计数值是否达到设定阈值；

如果是，则在第二次开启所述第一读写锁的写模式后、且在第二次关闭所述第一读写锁的写模式前，使所述第一计数器中的计数值置为零；在开启所述第一读写锁的读模式后、且在关闭所述第一读写锁的读模式前，将所述第一缓冲区中缓冲的所有行数据放入所述第一数据表中；在第三次开启所述第一读写锁的写模式后、且在第三次关闭所述第一读写锁的写模式前，清除所述第一缓 冲区中缓冲的所有行数据；继续执行所述获取需要向所述数据库的第一数据表插入的行数据的步骤；

如果否，则继续执行所述获取需要向所述数据库的第一数据表插入的行数据的步骤。

优选地，所述第一数据表与第一预处理表相互对应，所述第一预处理表中按预设顺序存储了所述第一数据表中的每个字段，所述第一预处理表中每个字段对应的初始数据为空值；

所述获取需要向所述数据库的第一数据表插入的行数据，具体包括：

将所述行数据中的每个数据项与所述第一预处理表中的字段进行对应，并利用所述每个数据项替换所述第一预处理表中对应字段所对应的空值；