[发明专利]大数据加速结构的构建方法

摘要

本发明涉及大数据加速结构的构建方法，包括：A.数据预处理，形成符合运算过程的数据集；B.聚类处理，并计算类别内部的记录间的相似度，根据聚类算法的分组结果，使组内最相似的记录在空间距离最小；C.将事务属性、事务属性权重和事务记录按照三级索引建立映射关系，此过程循环进行，直到所有数据映射完成；D.初始化压缩索引结构、事务属性权重索引和事务属性，确定连续记录的共享属性权值的范围，遍历倒排索引映射结构，将共享事务属性权值下的连续记录通过行程压缩算法进行压缩。本发明能够快速建立大数据关联分析的加速结构，非常明显的加快了模型的处理速度和数据加载速度。

主权项

大数据加速结构的构建方法，其特征包括：A.数据预处理：对原始数据进行数据清理、数据集成和数据转换，形成符合运算过程的数据集；B.聚类处理：对预处理后的数据进行聚类，聚类完成后通过汉明距离计算类别内部的记录间的相似度，并对所述记录重新排序，根据聚类算法的分组结果，在每个分组内分别进行记录相似度的计算，使组内最相似的记录在空间距离最小；C.倒排索引映射结构：初始化索引文件、属性权重索引项和属性索引项，提取排序后数据的属性以及属性权值列表，然后进行倒排索引结构的构建，将事务属性、事务属性权重和事务记录按照三级索引建立映射关系，此过程循环进行，直到所有数据映射完成；D.行程压缩：初始化压缩索引结构、事务属性权重索引和事务属性，确定连续记录的共享属性权值的范围，遍历倒排索引映射结构，将共享事务属性权值下的连续记录通过行程压缩算法进行压缩。