[发明专利]一种基于多维点阵数据空间模型的去重方法

摘要

本发明公开了一种基于多维点阵数据空间模型的去重方法，包括以下步骤：加载本地缓存数据，建立多维点阵数据空间模型；将数据转换为定制的数据格式，并将数据分割成数据点；对数据逐个进行检索，数据检索过程中，定位数据点在数据模型所对应维面的坐标，检索数据点由数据第1位开始，逐位向下进行，若该数据点在数据模型中不存在，则在数据模型中刻画该数据点，同时标识不存在此数据；1个数据遍历数据点完成后，如该数据已标识过不存在，则输出缓存，检索下一个数据，直至全部数据检索完毕。本发明适合于各类数据过滤去重活动，解决了数据长度差异引起的资源消耗严重的问题，去重效率高，具有良好的工程应用价值。

主权项

一种基于多维点阵数据空间模型的去重方法，其特征在于，包括以下步骤：101)加载本地缓存数据，根据配置文件所定制的模式建立多维点阵数据空间模型；102)需要进行去重活动的数据转换为多维点阵数据空间模型所定制的数据格式，并将数据分割成数据点；103)对转换好格式的数据逐个进行检索；104)数据检索过程中，检索数据点即是定位数据点在数据模型所对应维面的坐标，检索数据点由数据第1位开始，逐位向下进行，若发现该数据点在数据模型中不存在，则在数据模型中刻画该数据点，同时标识不存在此数据；重复执行检索数据点的过程，直到最后一个数据点检索完成；105)1个数据遍历数据点完成后，如该数据已标识过不存在，则输出缓存；106)检索下一个数据，直至全部数据检索完毕。