[发明专利]数据合并方法及装置在审
申请号: | 201711230722.6 | 申请日: | 2017-11-29 |
公开(公告)号: | CN110069491A | 公开(公告)日: | 2019-07-30 |
发明(设计)人: | 朱文琦;邓勇;杨宜东;莫晓军 | 申请(专利权)人: | 华为软件技术有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/2455;G06F16/242 |
代理公司: | 北京三高永信知识产权代理有限责任公司 11138 | 代理人: | 罗振安 |
地址: | 210000 江苏省南京*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 批量数据 数据合并 数据缓存 数据组 服务器 存储 事务 缓存 消耗 服务性能 数据库表 数据组合 写入数据 预设条件 磁盘I/O 清空 申请 解析 数据库 | ||
1.一种数据合并方法,其特征在于,所述方法包括:
将目标事务生成的数据组,存储到所述目标事务对应的数据缓存;
当满足预设条件时,将缓存的多个数据组合并为列批量数据组;
将所述列批量数据组插入所述目标事务对应的数据库表中;
清空所述数据缓存中存储的数据组。
2.根据权利要求1所述的方法,其特征在于,所述将缓存的多个数据组合并为列批量数据组,包括:
确定所述多个数据组中,每个数据组的数据组属性列;
根据预存的数据组属性列与数据库表属性列的对应关系,将所述多个数据组中对应同一数据库表属性列的数据合并到同一列,得到第一数据集合;
在所述第一数据集合中,对于所述多个数据组中的每个数据组,在所述数据组中添加对应所述第一数据集合的数据集合属性列的空数据,得到第二数据集合;
在所述第二数据集合中,将同一列数据绑定为列数据,得到所述列批量数据组。
3.根据权利要求1所述的方法,其特征在于,所述将缓存的多个数据组合并为列批量数据组,包括:
确定所述多个数据组中,每个数据组的数据组属性列;
将所述多个数据组中同一数据组属性列的数据合并到同一列,得到第三数据集合;
在所述第三数据集合中,对于所述多个数据组中的每个数据组,在所述数据组中添加对应所述第三数据数据集合的数据集合属性列的空数据,得到第四数据集合;
在所述第四数据集合中,将同一列数据绑定为列数据,得到所述列批量数据组。
4.根据权利要求1所述的方法,其特征在于,所述将所述列批量数据组插入所述目标事务对应的数据库表中,包括:
将所述列批量数据组中的每个列数据分别作为对应所述数据库表的数据库表属性列的数据,插入所述数据库表中。
5.根据权利要求1所述的方法,其特征在于,在所述将所述列批量数据组插入所述目标事务对应的数据库表中之前,所述方法还包括:
将所述列批量数据组中同一列数据的数据类型转换为相同的数据类型。
6.根据权利要求1-5中任一所述的方法,其特征在于,所述预设条件为接收到事务提交指令,和/或,所述数据缓存中存储的数据组数量达到预定阈值,和/或,达到预设周期。
7.一种数据合并装置,其特征在于,所述装置包括:
存储模块,用于将目标事务生成的数据组,存储到所述目标事务对应的数据缓存;
合并模块,用于当满足预设条件时,将缓存的多个数据组合并为列批量数据组;
插入模块,用于将所述列批量数据组,插入所述目标事务对应的数据库表中;
清空模块,用于清空所述数据缓存中存储的数据组。
8.根据权利要求7所述的装置,其特征在于,所述合并模块,还用于:
确定所述多个数据组中,每个数据组的数据组属性列;
根据预存的数据组属性列与数据库表属性列的对应关系,将所述多个数据组中对应同一数据库表属性列的数据合并到同一列,得到第一数据集合;
在所述第一数据集合中,对于所述多个数据组中的每个数据组,在所述数据组中添加对应所述第一数据集合的数据集合属性列的空数据,得到第二数据集合;
在所述第二数据集合中,将同一列数据绑定为列数据,得到所述列批量数据组。
9.根据权利要求7所述的装置,其特征在于,所述合并模块,还用于:
确定所述多个数据组中,每个数据组的数据组属性列;
将所述多个数据组中同一数据组属性列的数据合并到同一列,得到第三数据集合;
在所述第三数据集合中,对于所述多个数据组中的每个数据组,在所述数据组中添加对应所述第三数据数据集合的数据集合属性列的空数据,得到第四数据集合;
在所述第四数据集合中,将同一列数据绑定为列数据,得到所述列批量数据组。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为软件技术有限公司,未经华为软件技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711230722.6/1.html,转载请声明来源钻瓜专利网。