[发明专利]数据处理方法及装置在审
申请号: | 201711239275.0 | 申请日: | 2017-11-30 |
公开(公告)号: | CN107784195A | 公开(公告)日: | 2018-03-09 |
发明(设计)人: | 楼浩盛 | 申请(专利权)人: | 新华三大数据技术有限公司 |
主分类号: | G06F19/00 | 分类号: | G06F19/00 |
代理公司: | 北京林达刘知识产权代理事务所(普通合伙)11277 | 代理人: | 刘新宇 |
地址: | 450000 河南省郑州市高新技*** | 国省代码: | 河南;41 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 | ||
1.一种数据处理方法,其特征在于,所述方法包括:
获取数据列及用于对所述数据列进行分割的第一分片数N;其中,所述N为大于0的整数;
按照所述第一分片数N,对所述数据列进行分片处理,得到N个第一数据分片;
判断所述N个第一数据分片中的每个第一数据分片是否满足预设的切分规则,对满足所述切分规则的所述第一数据分片再次进行分片处理,得到第二数据分片;
在所述第二数据分片不满足所述切分规则时,对未满足所述切分规则的所述第一数据分片及所述第二数据分片进行数据处理。
2.根据权利要求1所述的方法,其特征在于,所述判断所述N个第一数据分片中的每个第一数据分片是否满足预设的切分规则,包括:
根据所述数据列对应的总数据量及所述第一分片数N,得到数据量均值;
根据所述第一数据分片对应的数据量与所述数据量均值,确定所述第一数据分片是否满足切分规则。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第一数据分片对应的数据量与所述数据量均值,确定所述第一数据分片是否满足切分规则,包括:
将所述第一数据分片对应的数据量与所述数据量均值进行运算处理,得到运算值;
在所述运算值大于第一阈值时,确定所述第一数据分片满足切分规则。
4.根据权利要求2或3所述的方法,其特征在于,所述对满足所述切分规则的所述第一数据分片再次进行分片处理,包括:
确定第二分片数M;
按照所述第二分片数M对所述第一数据分片进行分片处理,得到对应的第二数据分片。
5.根据权利要求4所述的方法,其特征在于,所述确定第二分片数M,包括:
根据所述第一数据分片对应的数据量与所述数据量均值确定所述第二分片数M。
6.一种数据处理装置,其特征在于,所述装置包括:
获取模块,用于获取数据列及用于对所述数据列进行分割的第一分片数N;其中,所述N为大于0的整数;
第一切分模块,用于按照所述第一分片数N,对所述数据列进行分片处理,得到N个第一数据分片;
第二切分模块,用于判断所述N个第一数据分片中的每个第一数据分片是否满足预设的切分规则,对满足所述切分规则的所述第一数据分片再次进行分片处理,得到第二数据分片;
数据处理模块,用于在所述第二数据分片不满足所述切分规则时,对未满足所述切分规则的所述第一数据分片及所述第二数据分片进行数据处理。
7.根据权利要求6所述的装置,其特征在于,所述第二切分模块包括:
第一处理子模块,用于根据所述数据列对应的总数据量及所述第一分片数N,得到数据量均值;
第一确定子模块,用于根据所述第一数据分片对应的数据量与所述数据量均值,确定所述第一数据分片是否满足切分规则。
8.根据权利要求7所述的装置,其特征在于,所述第一确定子模块,还用于将所述第一数据分片对应的数据量与所述数据量均值进行运算处理,得到运算值;
在所述运算值大于第一阈值时,确定所述第一数据分片满足切分规则。
9.根据权利要求7或8所述的装置,其特征在于,所述第二切分模块,包括:
第二确定子模块,用于确定第二分片数M;
第二处理子模块,用于按照所述第二分片数M对所述第一数据分片进行分片处理,得到对应的第二数据分片。
10.根据权利要求9所述的装置,其特征在于,所述第二确定子模块,还用于根据所述第一数据分片对应的数据量与所述数据量均值确定所述第二分片数M。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于新华三大数据技术有限公司,未经新华三大数据技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711239275.0/1.html,转载请声明来源钻瓜专利网。
- 同类专利
- 专利分类
G06F 电数字数据处理
G06F19-00 专门适用于特定应用的数字计算或数据处理的设备或方法
G06F19-10 .生物信息学,即计算分子生物学中的遗传或蛋白质相关的数据处理方法或系统
G06F19-12 ..用于系统生物学的建模或仿真,例如:概率模型或动态模型,遗传基因管理网络,蛋白质交互作用网络或新陈代谢作用网络
G06F19-14 ..用于发展或进化的,例如:进化的保存区域决定或进化树结构
G06F19-16 ..用于分子结构的,例如:结构排序,结构或功能关系,蛋白质折叠,结构域拓扑,用结构数据的药靶,涉及二维或三维结构的
G06F19-18 ..用于功能性基因组学或蛋白质组学的,例如:基因型–表型关联,不均衡连接,种群遗传学,结合位置鉴定,变异发生,基因型或染色体组的注释,蛋白质相互作用或蛋白质核酸的相互作用