[发明专利]数据序列化、反序列化方法、设备、系统、介质及产品

说明书

本申请实施例提供一种数据序列化、反序列化方法、设备、系统、介质及产品。该数据序列化方法包括：确定待序列化的多行数据，将多行数据序列化为包含元数据部分和数据部分的行组数据，元数据部分用于描述多行数据对应的表结构，数据部分用于描述所述多行数据中的值。该方法消除了列名和数据类型的冗余，从而减少了对数据库数据进行序列化时的数据冗余，提高了数据交互效率，降低了网络带宽的消耗。

技术领域

本申请涉及数据库技术领域，尤其涉及一种数据序列化、反序列化方法、设备、系统、介质及产品。

背景技术

数据库（Database）是按照数据结构来组织、存储和管理数据的仓库。数据库可以包括关系型数据库和非关系型数据库（NoSQL数据库）。

通常，在生产环境中需要实时订阅数据库的变更消息，用于流计算、缓存更新、事件通知等场景。为了解耦需要定义数据库变更消息格式，常用的数据库变更消息格式是JS对象简谱（JavaScript Object Notation，JSON）格式，即第一计算机设备将待序列化的数据库数据序列化为JSON格式数据，并将JSON格式数据发送至第二计算机设备，第二计算机设备将JSON格式数据进行反序列化得到数据库数据。其中，在使用JSON格式时，每个数据库数据都是采用“列名+数据类型+值”的三元组方式进行表示，在需要交互大量数据的场景下，采用JSON格式存在大量的数据冗余，数据交互效率较低。

因此，在大数据场景下，如何减小对数据库数据进行序列化时的数据冗余，提高数据交互效率成为目前亟待解决的问题。

发明内容

本申请实施例提供一种数据序列化、反序列化方法、设备、系统、介质及产品，用以解决现有技术中在大数据场景下，如何减小对数据库数据进行序列化时的数据冗余，提高数据交互效率的问题。

第一方面，本申请实施例提供一种数据序列化方法，包括：

确定待序列化的多行数据，每行数据对应多个列；

将所述多行数据序列化为包含元数据部分和数据部分的行组数据，所述元数据部分用于描述所述多行数据对应的表结构，所述数据部分用于描述所述多行数据中的值。

第二方面，本申请实施例提供一种数据反序列化方法，包括：

获取待反序列化的行组数据，所述行组数据包含元数据部分和数据部分，所述元数据部分用于描述多行数据对应的表结构，所述数据部分用于描述所述多行数据中的值；

对所述元数据部分进行反序列化，以生成所述表结构；

根据生成的所述表结构对所述数据部分进行解析，以确定所述数据部分所描述的值在所述表结构中的行列位置，并根据所述行列位置对所述数据部分所描述的至少部分值进行反序列化。

第三方面，本申请实施例提供一种数据序列化装置，包括：

确定模块，用于确定待序列化的多行数据；

序列化模块，用于将所述多行数据序列化为包含元数据部分和数据部分的行组数据，所述元数据部分用于描述所述多行数据对应的表结构，所述数据部分用于描述所述多行数据中的值。

第四方面，本申请实施例提供一种数据反序列化装置，包括：

获取模块，用于获取待反序列化的行组数据，所述行组数据包含元数据部分和数据部分，所述元数据部分用于描述多行数据对应的表结构，所述数据部分用于描述所述多行数据中的值；

元数据反序列化模块，用于对所述元数据部分进行反序列化，以生成所述表结构；

数据反序列化模块，用于根据生成的所述表结构对所述数据部分进行解析，以确定所述数据部分所描述的值在所述表结构中的行列位置，并根据所述行列位置对所述数据部分所描述的至少部分值进行反序列化。