[发明专利]存储数据对象的方法及装置

说明书

提供一种存储数据对象的方法及装置。所述方法包括：当接收到对数据对象的写请求时，将所述数据对象的数据拆分为第一部分数据和第二部分数据，其中，所述第一部分数据包括：所述数据对象的数据字段，所述第二部分数据包括：所述数据对象的元数据；将所述第一部分数据写入存储于第一外部存储设备的第一数据文件；将所述第一部分数据在所述第一外部存储设备中的位置信息和所述第二部分数据写入存储于第二外部存储设备的第二数据文件。根据所述方法及装置，便于仅将数据对象的检索所需、访问频率较高的数据加载到缓存区，从而能够在有效缩减各数据对象所占用的缓存空间的同时，保证数据检索的速度。

技术领域

本发明涉及数据存储技术领域，更具体地讲，涉及一种存储数据对象的方法及装置。

背景技术

现有数据库或文件系统中通常使用B/B+树、哈希表、跳表等作为其缓存管理的方式，数据通常以对象的形式与这些结构相关联。以B/B+树为例，各个数据对象将被分别存储在各个树节点中，在B+树中，数据信息被移至叶子节点，B+树的内部节点只被用来存储相关Key值范围。由于数据节点较大，通常会占用很多内存，在进行大数据分析时，常常会导致内存不足，此时数据库或文件系统需根据相关置换算法(例如，LRU(Least Recently Used，近期最少使用)算法)废弃内存数据页面，在内存页被废弃之后，B树或B+树会根据废弃数据进行B树或B+树的调整，保证B树或B+树的平衡性。在新的数据被载入内存时，B树或B+树结构发生变化，此时也需要进行树的调整。哈希表和跳表中也存在类似的操作方式。

即，现有的存储数据对象的方式，使得加载到缓存区的数据对象(例如：B/B+树的叶子节点)对缓存空间消耗过大，从而吞噬很大一部分内存，而内存不足则导致：数据检索出现较多的缓存缺失、页面被频繁地换入换出、内存结构被频繁地调整、系统花费大量CPU时间处理页面置换工作，使得客户请求及I/O请求无法得到及时处理。并且，还导致了需要数据库或文件系统在缓存管理上进行复杂耗时的操作，降低了数据库或文件系统的性能。

发明内容

本发明的示例性实施例在于提供一种存储数据对象的方法及装置，其能够将数据对象的检索所需及访问频率较高的数据、与检索相关度较低的大数据块进行分离存储，从而便于仅将数据对象的检索所需、访问频率较高的数据加载到缓存区，能够在有效缩减各数据对象所占用的缓存空间的同时，保证数据检索的速度，从而解决因数据对象占用较多的内存所导致的各种问题。

根据本发明的示例性实施例，提供一种存储数据对象的方法，包括：当接收到对数据对象的写请求时，将所述数据对象的数据拆分为第一部分数据和第二部分数据，其中，所述第一部分数据包括：所述数据对象的数据字段，所述第二部分数据包括：所述数据对象的元数据；将所述第一部分数据写入存储于第一外部存储设备的第一数据文件；将所述第一部分数据在所述第一外部存储设备中的位置信息和所述第二部分数据写入存储于第二外部存储设备的第二数据文件，其中，所述第一外部存储设备和所述第二外部存储设备为同一外部存储设备或不同的外部存储设备。

可选地，所述第一部分数据包括的数据字段的长度大于预定阈值；所述第二部分数据还包括：所述数据对象中长度不大于预定阈值的数据字段。

可选地，在将所述第一部分数据写入存储于第一外部存储设备的第一数据文件之后，且在将所述第一部分数据在所述第一外部存储设备中的位置信息和所述第二部分数据写入存储于第二外部存储设备的第二数据文件之前，所述方法还包括：将所述第一部分数据在所述第一外部存储设备中的位置信息和所述第二部分数据写入文件系统的日志文件；将所述日志文件存储到所述第一外部存储设备或所述第二外部存储设备。

可选地，所述方法还包括：当接收到对所述数据对象的读请求时，将所述第一部分数据在所述第一外部存储设备中的位置信息和所述第二部分数据从所述第二外部存储设备加载到内存的缓存区。