[发明专利]一种基于多进程数据流的海量虚实数据比对方法在审
申请号: | 202011051147.5 | 申请日: | 2020-09-29 |
公开(公告)号: | CN112052260A | 公开(公告)日: | 2020-12-08 |
发明(设计)人: | 袁景凌;肖骅;罗忆;李新平;罗佩;江春鹏 | 申请(专利权)人: | 武汉理工大学 |
主分类号: | G06F16/2453 | 分类号: | G06F16/2453;G06F16/2455;G06F16/248 |
代理公司: | 武汉科皓知识产权代理事务所(特殊普通合伙) 42222 | 代理人: | 肖明洲 |
地址: | 430070 湖*** | 国省代码: | 湖北;42 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种基于多进程数据流的海量虚实数据快速比对方法,首先整理虚拟数据,形成标准数据文件,依据标准数据格式对实测数据进行预处理,对齐数据长度;然后将虚拟数据与实测数据按对应唯一编码合并成一条数据,形成单一数据文件;接着读入数据流,通过一个循环遍历整个数据文件,比对每条数据前后半段差异;最后直接将内存中的数据流按硬件环境进行分块,通过多线程并行方式同时遍历分块后的内存数据,获取分块比对结果文件。本发明通过多进程并行处理与数据流计算的有效融合,实现虚拟数据与实测数据在内存中高速比对的同时能避免数据量过大而导致内存存储限制,从而能提高生产或工程项目中海量数据比对的效率。 | ||
搜索关键词: | 一种 基于 进程 数据流 海量 虚实 数据 方法 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于武汉理工大学,未经武汉理工大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202011051147.5/,转载请声明来源钻瓜专利网。
- 上一篇:一种遥感图像中的水体提取方法和装置
- 下一篇:一种神经内科用多功能检查装置