[发明专利]一种数据追加情况下的平均分段并行方法在审
申请号: | 201710461630.2 | 申请日: | 2017-06-19 |
公开(公告)号: | CN109144711A | 公开(公告)日: | 2019-01-04 |
发明(设计)人: | 蒋步星 | 申请(专利权)人: | 北京润乾信息系统技术有限公司 |
主分类号: | G06F9/50 | 分类号: | G06F9/50 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明提供了一种数据追加情况下的平均分段并行方法。在文件段索引区中创建成n个记段的起始位置以及段长度的记录组。文件在追加数据的过程中,假设初期记录组是每隔m条数据长度记一个段的起始位置,当数据数达到了m*n条时就把n个位置记录组数据两两合并,这样前n/2个记录组每个有2m条数据,后n/2个记录组为空白。然后后追加数据用后面n/2个空白记录组记,每个记录组信息长度为2m条数据,等后n/2个空白记录组的信息全部填满后,再把n个位置记录组信息的数据两两合并成n/2个记录组,用这样的方式进行无限循环应对无限追加数据。 | ||
搜索关键词: | 记录组 追加 空白记录 数据追加 位置记录 分段 并行 无限循环 索引区 文件段 组数据 组信息 合并 填满 创建 | ||
【主权项】:
1.一种数据追加情况下的平均分段并行方法,步骤如下:a.在业务系统中,在文件最前面创建一个固定长度的段索引区;b.在文件段索引区中创建成n个记段的起始位置以及段长度的记录组;c.文件在追加数据的过程中,假设初期记录组是每隔m条数据长度记一个段的起始位置,当数据数达到了m*n条时(n个记录组每个为m条数据长度)就把n个位置记录组数据两两(前奇数记录组和后偶数记录组)合并,这样前n/2个记录组每个有2m条数据,后n/2个记录组为空白;d.然后后追加数据用后面n/2个空白记录组记,每个记录组信息长度为2m条数据,等后n/2个空白记录组的信息全部填满后,再把n个位置记录组信息的数据两两(前奇数记录组和后偶数记录组)合并成n/2个记录组,用这样的方式进行无限循环应对无限追加数据;e.当要k线程并行处理业务文件时,把记录组按总数量(只算记录组里面有数据记的,空白的不算)平均分成k份,这样每个线程处理的工作量就大体相当了;f.当要从这个文件中找到第f段的起始位置时,查索引表直接知道具体位置。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京润乾信息系统技术有限公司,未经北京润乾信息系统技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201710461630.2/,转载请声明来源钻瓜专利网。