[发明专利]一种面向单机的海量小记录高效存储管理方法

摘要

本发明涉及一种面向单机的海量小记录高效存储管理方法，属于信息存储技术领域。包括：(1)数据接收及缓存：接收小记录数据，并存储在内存缓冲区中；(2)自动分块：当内存缓冲区满时，将缓冲区内的数据写入到文件中，为防止单个文件太大影响性能，每个文件有大小限制，当单个文件达到分块大小时，自动新建文件；(3)树状目录生成：为防止当个目录下文件太多影响性能，限制每个文件夹下面的文件总数，以简化的树管理算法实现文件夹和分块文件的树状组织；(4)记录标识：采用特殊标识直接记录的物理地址，方便记录的访问。对比现有技术，本发明方法能够在单机环境下以更低的硬件性能要求获得更高性能的管理海量小记录数据的能力。

主权项

一种面向单机的海量小记录高效存储管理方法，其特征在于，包括以下内容：A.数据接收及缓存：接收小记录数据，为避免频繁I/O请求以及造成磁盘碎片，先将记录存储在内存缓冲区中；B.自动分块：所述内存缓冲区无法容纳新记录时，将所述内存缓冲区中的数据写入到磁盘存储器中，并清空所述内存缓冲区以写入新的所述接收的新记录；为防止单个文件太大影响I/O性能，限制每个数据文件的大小阈值：如果当前分块文件大小超过所述阈值，自动新建分块文件，并将新数据写入到新分块文件中；C.树状目录生成：为防止单个目录下文件太多影响I/O性能，限制每个文件夹下面的文件总数，以简化的树管理算法实现文件夹和分块文件的树状组织；D.记录标识：采用特殊标识直接记录每个记录的物理地址，方便记录的访问。