[发明专利]数据文件的处理方法和装置、存储介质、电子装置在审
申请号: | 202110349433.8 | 申请日: | 2021-03-31 |
公开(公告)号: | CN112925759A | 公开(公告)日: | 2021-06-08 |
发明(设计)人: | 王媛媛 | 申请(专利权)人: | 北京金山云网络技术有限公司 |
主分类号: | G06F16/174 | 分类号: | G06F16/174 |
代理公司: | 北京华夏泰和知识产权代理有限公司 11662 | 代理人: | 曾军 |
地址: | 100085 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据文件 处理 方法 装置 存储 介质 电子 | ||
1.一种数据文件的处理方法,其特征在于,包括:
获取多个初始文件的文件数量,其中,所述初始文件中记录有物联网系统中的物联网设备发送的业务数据;
在所述文件数量达到目标阈值的情况下,获取每个所述初始文件的文件属性,其中,所述文件属性用于表示所述初始文件在目标属性上的属性值;
根据所述多个初始文件的文件属性对所述多个初始文件进行合并,得到目标文件,其中,所述目标文件的文件数量少于所述多个初始文件的文件数量,所述目标文件中记录的业务数据的数据量不大于所述多个初始文件中记录的业务数据的数据量。
2.根据权利要求1所述的方法,其特征在于,根据所述多个初始文件的文件属性对所述多个初始文件进行合并,得到目标文件包括:
获取配置文件中为文件合并配置的目标合并方案,其中,所述配置文件用于保存在配置界面中接收到的合并方案,所述配置界面是第一服务器提供的;
根据所述多个初始文件的文件属性,采用所述目标合并方案对所述多个初始文件进行合并,得到所述目标文件。
3.根据权利要求2所述的方法,其特征在于,根据所述多个初始文件的文件属性,采用所述目标合并方案对所述多个初始文件进行合并,得到所述目标文件包括:
按照文件属性中记录的文件大小从所述多个初始文件中获取第一文件,其中,所述第一文件的文件大小不大于第二文件的文件大小,所述多个初始文件包括所述第一文件和所述第二文件;
从各个所述第一文件中获取所记录的业务数据;
在所有所述第一文件中记录的业务数据的数据量不大于目标阈值的情况下,将所有所述第一文件中记录的业务数据写入同一第三文件;或在所有所述第一文件中记录的业务数据的数据量大于所述目标阈值的情况下,将所有所述第一文件中记录的业务数据写入多个所述第三文件,其中,任意一个所述第三文件中记录的业务数据的数据量不大于所述目标阈值且任意两个所述第三文件中记录的业务数据不重复;
将所述第二文件和所述第三文件作为所述目标文件。
4.根据权利要求2所述的方法,其特征在于,根据所述多个初始文件的文件属性,采用所述目标合并方案对所述多个初始文件进行合并,得到所述目标文件包括:
从各个所述初始文件中获取所记录的物联网业务的业务数据并从文件属性中获取记录的该业务数据的版本和该业务数据的操作记录;
按照如下方式对从所述初始文件中获取的业务数据进行数据操作:在操作记录表示删除数据的情况下,删除该操作记录所指示的业务数据;在操作记录表示新增数据的情况下,将该操作记录所指示的多个业务数据合并;在存在相同的多个业务数据的情况下,保留多个业务数据中版本最新的业务数据;
将进行数据操作后的业务数据写入同一个所述目标文件。
5.根据权利要求1所述的方法,其特征在于,在获取多个初始文件的文件数量之前,所述方法还包括:
在将所述物联网设备发送的业务数据写入至内存上的所述初始文件时,将写入时间和数据源记录至操作日志中。
6.根据权利要求5所述的方法,其特征在于,在第一服务器根据所述多个初始文件的文件属性对所述多个初始文件进行合并,得到目标文件的过程中,所述方法还包括:
在合并成功的情况下,从所述操作日志中删除已经合并成功的所述初始文件的记录;
在合并失败的情况下,将对所述多个初始文件进行合并的失败记录写入所述操作日志。
7.根据权利要求6所述的方法,其特征在于,在将对所述多个初始文件进行合并的失败记录写入所述操作日志之后,所述方法还包括:
按照所述操作日志中记录的数据源获取所述多个初始文件中记录的业务数据或从第二服务器获取所述多个初始文件,其中,所述第二服务器为所述第一服务器的备用服务器;
再次执行根据所述多个初始文件的文件属性对所述多个初始文件进行合并的操作,得到所述目标文件。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京金山云网络技术有限公司,未经北京金山云网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110349433.8/1.html,转载请声明来源钻瓜专利网。