[发明专利]一种数据处理方法、装置以及设备

说明书

一种数据处理方法、装置以及设备，在该方法中，处理器向加速装置发送数据处理器请求，数据处理请求用于实现数据库中包括多个数据的第一数据集的格式转换。加速装置在获取该数据处理请求后，根据数据处理请求获取第一数据集，将以第一方式存储的第一数据集转换为第二方式存储的第二数据集。并将第二数据集存储在目标存储空间中。第二方式与第一方式不同。通过上述方法，加速装置能够对数据集进行转换。使得该数据集既适用于OLTP业务场景，又适用于OLAP业务场景。处理器不再执行转换操作，而是由加速装置执行转换操作，能够较大程度的减少对处理器的占用，保证了处理器的数据处理效率，同时也提高了格式转换效率。

技术领域

本申请涉及存储技术领域，尤其涉及一种数据处理方法、装置以及设备。

背景技术

通常数据库在存储数据时可以以行粒度存储和以列粒度存储。以行为准存储的数据在一定程度上保持了数据的原始形态，便于对数据进行增删查改等操作，更适用于联机事务处理(on-line transaction processing，OLTP)业务场景。以列为准存储的数据将相同字段的数据排布在一起存储，便于后续对数据进行分析，更适用于联机分析处理(on-line analytical processing，OLAP)业务场景中。

为了能够同时应对OLTP业务场景和OLAP业务场景，需要同时支持这两种存储格式。例如，当将数据存储在硬盘等存储器中时，以行为准存储。当需要执行数据分析等处理操作时，则需将该数据从硬盘等存储器转移至内存，并在内存中以列为准存储。在这个过程中，将数据从硬盘等存储器转移至内存需要对数据进行格式转换，目前对数据进行格式转换的任务主要由设备中的中央处理器(central processing unit，CPU)执行，由于格式转换过程中涉及到大量的数据拷贝和数据处理工作，占用了CPU的较多资源，对CPU的消耗较大。

发明内容

本申请提供一种数据处理方法、装置以及设备，用以加快实现格式转换，减少对CPU的消耗。

第一方面，本申请实施例提供了一种数据处理方法，该方法可以应用于包括加速装置以及处理器的设备中。处理器和加速装置可以通过PCIe相连，通过PCIe进行交互。在该方法中，处理器可以向加速装置发送数据处理器请求，数据处理请求用于实现数据库中包括多个数据的第一数据集的格式转换。加速装置在获取该数据处理请求后，可以根据数据处理请求获取第一数据集。加速装置可以对第一数据集进行格式转换，将以第一方式存储的第一数据集转换为第二方式存储的第二数据集。加速装置还可以将第二数据集存储在目标存储空间中。其中，第二数据集包括至少一个数据，第二方式与第一方式不同。

通过上述方法，在该设备中，能够对数据集进行转换，也即该设备能够支持两种不同的数据存储格式，既支持行存的方式又支持列存的方式。使得该设备既适用于OLTP业务场景，又适用于OLAP业务场景。在设备内部，处理器不再执行转换操作，而是由加速装置执行转换操作，能够较大程度的减少对处理器的占用，保证了处理器的数据处理效率，同时也提高了格式转换效率。

在一种可能的实施方式中，第一方式和第二方式分别为行存储或列存储，行存储用于指示在数据库中以行为准存储数据，列存储用于指示在数据库中以列为准存储数据。

通过上述方法，加速装置能够将行存的第一数据集转换为列存的第二数据集，保证第二数据集能够用于OLAP业务场景，还能够将列存的第一数据集转换为行存的第二数据集，保证第二数据集能够用于OLTP业务场景。

在一种可能的实施方式中，当第一方式为行存储，第二方式为列存储时，加速装置在进行格式转换，对于不同类型的字段可以采用不同的转换方式。下面以定长字段和变长字段的转换方式为例进行说明：

1、对定长字段的格式转换。

加速装置可以获取第一数据集中定长字段下的各个数据，将各个数据连续排布，生成第二数据集，第二数据集还包括空值指示信息，空值指示信息用于指示定长字段下的数据为空值或为非空值。