[发明专利]一种基于事务的大容量数据读写方法

摘要

本发明涉及电子信息和电子信息数据操作技术领域，具体的说是一种基于事务的大容量数据读写方法。写方法将数据记录以数据页面的组织起来进行批量处理，同时将大量的事务性写操作转换为非事务性写操作，有效减少了事务性读写的数据量，利用索引文件的事务特性，既保证了数据的完整性和事务性，又实现了海量数据的高效读写；读方法使用共享内存建立数据页面索引，通过二分法实现数据记录的快速定位。在需要对海量数据进行事务性读写的场景下，利用本发明能够达到减少IO操作，提高吞吐量，减小延时的目的。

主权项

一种基于事务的大容量数据读写方法，其特征在于数据写方法包括以下步骤：（1）将批量数据记录以数据页面的形式组织起来，数据页面的大小根据实际应用的需要调整设置；（2）在内存中开辟数据页面缓冲，当每次写入数据记录时，先将数据记录写入内存中的数据页面缓冲内；（3）触发数据页面的提交，触发条件为下列条件之一即可：（a）数据页面缓冲被填满；（b）数据页面缓冲未被填满，但数据页面提交的最大超时时间被触发，所述的最大超时时间根据实际应用的需要调整设置，用于避免当数据页面缓冲因一直未能填满而无法提交，产生过长的延时；（4）提交数据页面，包括以下步骤：（a）以数据页面为单位，使用IO接口将数据页面写入数据文件；（b）当数据页面的写入操作成功后，生成一个索引，用于记录数据页面在数据文件中的首地址，所述的索引占用空间小；（c）通过基于事务的文件IO接口，将生成的索引写入索引文件，完成数据页面的提交；（5）反馈数据页面的提交结果：（a）当基于事务的索引写入索引文件过程执行成功后，数据页面即提交成功；（b）当基于事务的索引写入索引文件过程执行失败后，数据页面即提交失败，此时无需删除数据文件中索引对应的数据页面，因为对数据文件的读取访问是基于索引文件，当索引文件中索引不存在时，数据文件中对应的数据页面为不可见状态；（6）当需要对完成提交的数据页面进行回滚时，则只需要对索引文件中数据页面对应的索引执行回滚操作，无需删除数据文件中的数据页面，因为对数据文件的读取访问是基于索引文件，对索引文件执行回滚操作后，数据文件中对应的数据页面变更为不可见状态；（7）在共享内存中创建索引数组，用于开放给其他用户访问，当数据页面提交成功后，向共享内存中的索引数组添加数据页面对应的索引项，所述的索引项包括：数据页面在数据文件中的位移，数据页面中数据记录的起始序号和结束序号。（8）刷新数据页面缓冲区；（9）重置刷新定时器，至此数据写入操作完成。