[发明专利]一种数据处理方法、装置及系统

说明书

技术领域

本发明涉及计算机领域，尤其涉及一种数据处理方法、装置及系统。

背景技术

如何解决IO瓶颈是服务器领域最热门的话题。信息数据的爆炸使存储容量成倍增长，但存储和IO技术的增长无法跟上信息数据量增长的速度，造成IO的负担越发严重。压缩技术利用富余的处理器计算能力，既可以减少数据存储的容量，又可以降低IO传输带宽；缓存技术(SSD缓存，Page Cache)将热点数据放置在速度更快的存储模块，降低IO瓶颈。

操作系统厂商提供文件系统和内存的数据压缩功能；存储厂商提供存储压缩功能；数据库厂商提供数据库压缩功能；各厂商力争各自的压缩功能做到透明，避免对其它模块功能的影响。但是，内存、文件系统等实时压缩的功能对不同类型数据块统一处理，实时压缩算法压缩比例并不高，这些都造成目前的压缩技术存在诸多缺陷：

(1)从内存到文件系统到存储，各个层级单独提供透明压缩功能，无法有效配合。若同时开启压缩功能，可能带来负面影响。

(2)不同的压缩算法对不同数据压缩效率不同，统一处理，性能提升不明显。

(3)缓存热点数据实时性要求高，压缩带来的额外开销甚至有可能造成性能下降。

发明内容

针对目前各种压缩方案无法相互有效配合，以及热点数据压缩带来的额外开销问题，本发明实施例将压缩技术和缓存技术相结合，提供一种基于数据压缩的数据存储方法，提高存储性能。具体技术方案如下：

本发明实施例提供一种计算节点，该计算节点包括硬件层、运行在硬件层之上的操作系统以及运行在操作系统之上的应用层，所述硬件层包括处理器、存储控制器、第一存储阵列和第二存储阵列；所述第一存储阵列对于操作系统呈现为两个逻辑存储区域，分别是第一存储区和第二存储区；所述第二存储阵列对操作系统呈现为两个逻辑存储区域，分别是第三存储区和第四存储区；所述第一存储区存储未压缩的热点数据，所述第二存储区存储已压缩的温点数据，所述第三存储区存储未压缩的温点数据和未压缩的冷点数据，所述第四存储区存储已压缩的冷点数据；

所述操作系统用于：接收所述应用层发起的数据写入请求，所述数据写入请求包含待写入的数据块，所述数据块具有热度属性和压缩属性，其中所述热度属性为热点、温点或冷点，所述压缩属性为可压缩或不可压缩，根据所述数据块的热度属性和压缩属性，向所述处理器发送相应的数据写入指令，由所述处理器将所述数据写入指令发送给所述存储控制器，所述数据写入指令包含所述数据块写入的目标存储区；

所述存储控制器用于：接收所述处理器发送的数据写入指令，并根据所述数据写入指令将所述数据块写入对应的目标存储区。

本发明实施例还提供一种数据处理方法，该方法应用于计算节点，所述计算节点包含第一存储阵列和第二存储阵列，所述第一存储阵列对于操作系统呈现为两个逻辑存储区域，分别是第一存储区和第二存储区；所述第二存储阵列对操作系统呈现为两个逻辑存储区域，分别是第三存储区和第四存储区，该方法包括：

获取数据写入请求，所述数据写入请求包含待写入的数据块，所述数据块包含热度属性和压缩属性，其中所述热度属性为热点、温点或冷点，所述压缩属性为可压缩或不可压缩；

根据所述数据块的热度属性和压缩属性，将所述数据块写入对应的目标存储区，所述目标存储区为第一存储区、第二存储区、第三存储区和第四存储区中的一个或多个存储区。

本发明实施例还提供一种计算机系统，该系统至少包括一个本发明实施例提供的计算节点。

综上所述，本发明实施例提供的计算节点及计算机系统，利用数据压缩技术，提高数据在缓存或热点数据盘的命中率；另外，通过对数据的热度进行区分，例如对访问最频繁的热点数据不压缩，而对访问频度居中的温点数据进行压缩处理，以及通过将存储区域进一步细分为存储压缩数据的区域和存储不压缩数据的区域，在利用压缩提高缓存命中率的同时，弱化了数据压缩可能带来的一些负面影响；再次，通过给数据增加热度属性和压缩属性，内存和数据存储之间、缓存和普通存储之间或热点数据盘与普通存储之间都可以通过信息共享来共享这些数据的信息，实现协同工作。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的计算节点的逻辑结构示意图；