[发明专利]数据合并方法及装置

说明书

本申请公开了一种数据合并方法及装置，涉及数据库。该方法包括：将目标事务生成的数据组，存储到所述目标事务对应的数据缓存；当满足预设条件时，将缓存的多个数据组合并为列批量数据组；将所述列批量数据组插入所述目标事务对应的数据库表中；清空所述数据缓存中存储的数据组。本申请避免了服务器频繁解析SQL语句的CPU消耗，以及频繁写入数据造成的磁盘I/O消耗，从而提高了服务器的整体服务性能。

技术领域

本申请涉及数据库领域，特别涉及一种数据合并方法及装置。

背景技术

随着网络技术的发展和应用软件的成熟，软件即服务(Software-as-a-service，SaaS)作为一种新的软件应用模式，得到越来越多的关注。SaaS特别之处在于，用户无需对应用程序进行安装，而是通过网络直接使用应用程序，对数据进行阅读、编辑和保存。

目前，服务器以数据库表的形式存储各个用户的数据，SaaS模式的兴起意味着服务器需要存储大量不同用户的不同数据，于是宽表应运而生。宽表从字面意义上讲就是字段比较多的数据库表，通常是指将业务主题相关的指标、维度、属性列等类型记录在一起的一张数据库表。由于宽表在创建时会预留若干(比如100，500)个无类型字段作为具体数据的存储字段，因此可以适应大量不同用户的不同类型的数据的存储。

现有技术中，服务器是将数据组逐条写入宽表中(比如当一件事务触发后，服务器需要将与该事务关联的多条数据组一条一条写入宽表中)，显然，频繁解析结构化查询语言(Structured Query Language，SQL)语句和频繁写入数据，无疑增加了服务器的中央处理器(Central Processing Unit，CPU)消耗和磁盘输入/输出(Input/Output，I/O)消耗，降低了服务器的整体服务性能。

发明内容

为了解决相关技术的问题，本申请公开了一种数据合并方法及装置。所述技术方案如下：

第一方面，提供了一种数据合并方法，所述方法包括：

将目标事务生成的数据组，存储到所述目标事务对应的数据缓存；

当满足预设条件时，将缓存的多个数据组合并为列批量数据组；

将所述列批量数据组插入所述目标事务对应的数据库表中；

清空所述数据缓存中存储的数据组。

本申请实施例提供的数据合并方法，通过先将目标事务生成的数据组合并为列批量数据组，再将列批量数据组插入目标事务对应的数据库表中，由于服务器在只需对列批量数据组执行依次写入操作，即可将合并成该列批量数据组的的数据组全部写入宽表中，避免了服务器频繁解析SQL语句的CPU消耗，以及频繁写入数据造成的磁盘I/O消耗，从而提高了服务器的整体服务性能。

结合第一方面或者第一方面的第一种可能的实施方式，在第一方面的第二种可能的实施方式中，根据数据组属性列与数据库表属性列的对应关系，将类型不同的数据组合并为列批量数据组，使得插入数据库表中的列批量数据组，所包含的每个数据对应的属性列与数据库表的数据库表属性列均对应，从而减少空数据的数量，降低列批量数据组的占用空间，所述将缓存的多个数据组合并为列批量数据组，包括：确定所述多个数据组中，每个数据组的数据组属性列；根据预存的数据组属性列与数据库表属性列的对应关系，将所述多个数据组中对应同一数据库表属性列的数据合并到同一列，得到第一数据集合；在所述第一数据集合中，对于所述多个数据组中的每个数据组，在所述数据组中添加对应所述第一数据集合的数据集合属性列的空数据，得到第二数据集合；在所述第二数据集合中，将同一列数据绑定为列数据，得到所述列批量数据组。