[发明专利]一种数据存取方法和装置

说明书

技术领域

本发明涉及互联网通信技术领域，特别涉及一种数据存取方法和装置。

背景技术

随着无线互联网的发展，网络用户的数目不断增加，从而对服务器端的性能要求也越来越高。例如，目前利用移动终端设备进行即时通讯的用户群体日益壮大，注册用户以及活跃用户不断增多，对于即时通讯(IM)服务端性能的要求也越来越高。

数据存取是服务器端的主要任务之一，目前的数据存取主要包括数据库存取和文件存取两种方式。采用数据库存取时，应用较多的数据库有Oracle数据库、SQLServer数据库、MySQL数据库，这些数据库都具有数据的增添、删除、修改、查询以及数据的备份、导出等功能。而文件存取主要应用在图片、语音等多媒体数据以及日志等不需大量查询及删改的数据存取场景中。

数据存取技术的创新和优化，对于提高无线互联网领域中服务器端的性能有很大的帮助。而目前的数据存取方案至少具有如下不足：

采用数据库存取方式时，由于数据库特定的数据存储方式和索引方式，造成了磁盘空间以及性能的损耗过大，数据库在进行增添、修改等操作时，会对整张数据表或者某行数据加锁，导致并发操作的效率较低；并且，通常会部署多台服务器执行存取操作，但在操作数据时，都需要访问同一数据库服务器，在业务量较大时，会给数据库服务器带来较大的压力，延缓数据存取的响应时间。同时，访问数据库以及数据在网络中传输的过程，也需要占用一部分网络资源，增加了系统负担。

采用文件存取方式时，由于直接读写磁盘上的文件，性能较低，对磁盘输入输出(IO)的需求较大，而且读取和删改也不够灵活。

发明内容

本发明提供的一种数据存取方法和装置，以解决现有方案磁盘空间和性能的损耗过大、并发操作的效率较低、存取响应时间过长以及存取操作不够灵活的问题。

为达到上述目的，本发明实施例采用了如下技术方案：

本发明实施例提供了一种数据存取方法，利用内存映射文件机制为存储在磁盘上的数据文件建立内存通道，所述方法包括：

将所述数据文件划分为多个相同大小的逻辑文件块；

利用所述内存通道将一条键值对数据写入一个逻辑文件块中，所述键值对数据包括数据的主键和数据的值；

生成所述逻辑文件块的索引信息，所述索引信息指示该逻辑文件块中存储的数据的主键和该逻辑文件块地址的对应关系；

在接收到访问请求时，根据访问请求中的主键信息和索引信息定位逻辑文件块，利用内存通道访问所定位的逻辑文件块中的数据。

本发明实施例还提供了一种数据存取装置，所述装置包括：

内存通道建立单元，用于利用内存映射文件MMF机制为存储在磁盘上的数据文件建立内存通道；

文件块划分单元，用于将所述数据文件划分为多个相同大小的逻辑文件块；

数据存取单元，用于利用所述内存通道将一条键值对数据写入一个逻辑文件块中，所述键值对数据包括数据的主键和数据的值；

索引生成单元，用于生成所述逻辑文件块的索引信息，所述索引信息指示该逻辑文件块中存储的数据的主键和该逻辑文件块地址的对应关系；

所述数据存取单元，还用于在接收到访问请求时，根据访问请求中的主键信息和所述索引信息定位逻辑文件块，利用内存通道访问所定位的逻辑文件块中的数据

本发明实施例的有益效果是：

本发明实施例通过建立内存通道并直接操作内存实现数据的存取，提供了一种新型的数据存取方案，该方案无需再对磁盘上的数据文件进行磁盘I/O操作，显著提高了磁盘性能和数据存取的灵活性，数据存取效率较高。

并且，由于本实施例的方案不依赖于数据库特定的数据存储方式和索引方式，避免了并发操作导致存取效率较低的问题；且本方案能够在本地服务器上实现数据存取，减少数据在网络中的传输，加快存取响应速率，节省了网络资源，降低了系统负担。

附图说明

图1为本发明实施例一提供的一种数据存取方法流程示意图；

图2为本发明实施例一提供的一种数据存储方式示意图；

图3为本发明实施例二提供的一种数据存取装置结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

参见图1，为本发明实施例一提供的一种数据存取方法，所述方法包括：

11：利用内存映射文件(Memory Mapped File，MMF)机制为存储在磁盘上的数据文件建立内存通道。