[发明专利]一种档案大数据智能分析清洗挖掘系统

说明书

本发明公开了一种档案大数据智能分析清洗挖掘系统，包括档案信息数据库；档案信息数据库内包括档案归置模块、数据预处理模块和数据挖掘分析模块；档案归置模块包括档案分类统计模块、档案定位展现模块和档案记录模块；数据预处理模块包括数据清理模块、缺失值处理模块、数据选择模块、数据变换模块、数据集成模块、数据消减模块和数据清洗评估模块；数据挖掘分析模块包括统计分析模块、机器学习模块、神经网络模块和挖掘分析模块。本发明解决传统面对海量数据无法准确进行数据挖掘和数据清洗的问题，本申请能对档案进行缺失值处理，以及数据统计分析，结构简单，使用方便。

技术领域

本发明涉及数据挖掘和清洗技术领域，特别是一种档案大数据智能分析清洗挖掘系统。

背景技术

随着社会的发展和科技的进步，个体或者团体之间的联系变得更加紧密，紧密的联系促进了信息的快速传播和增长，而当今世界早就进入了信息时代，随着信息的爆发式增长和积累，大数据时代已近来临，大数据的基本特征：即数据量大、类型繁多、价值密度低、速度快时效高；作为其中最重要的特点：数据量大和价值密度低却是困扰如此海量数据信息挖掘利用的难题，在海量的数据里面，如何精确的获得人们关心的信息，就如同海底捞针困难重重；与此同时面对海量的信息，如何去分析某类信息之间的相关性，并以此分析出信息背后隐含价值，才在更高、更深的层面体现数据信息的价值，但是面对如此海量的数据，想要快速准确的分析出数据之间的关联关系，十分困难。

发明内容

本发明的目的在于克服现有技术的不足，提供一种档案大数据智能分析清洗挖掘系统，解决传统面对海量数据无法准确进行数据挖掘和数据清洗的问题，本申请能对档案进行缺失值处理，以及数据统计分析，结构简单，使用方便。

本发明的目的是通过以下技术方案来实现的：

一种档案大数据智能分析清洗挖掘系统，包括档案信息数据库；档案信息数据库内包括档案归置模块、数据预处理模块和数据挖掘分析模块；档案归置模块包括档案分类统计模块、档案定位展现模块和档案记录模块；

档案分类统计模块用于对档案进行录入、归置、分类和统计，并对档案按日期、按名称或按分类统计成表；

档案定位展现模块用于获取和记录每个实体档案的定位信息，并对档案的位置变化进行记录；

档案记录模块用于记录档案的录入时间，以及记录档案的调取信息，所述调取信息包括调取人、调取时间、调取原因和归还时间；

数据预处理模块包括数据清理模块、缺失值处理模块、数据选择模块、数据变换模块、数据集成模块、数据消减模块和数据清洗评估模块；

数据清理模块用于过滤和修改不符合要求的数据，检测和消除数据异常；所述不符合要求的数据包括不完整的数据、错误的数据和重复的数据；

缺失值处理模块用于对带大量缺失值的数据进行处理，所述对缺失值的数据进行处理包括删除、比对数据属性和利用数据属性填充缺失值；

数据选择模块用于对缺失处理后的数据进行选择，剔除冗余属性和挖掘关系不大的属性；

数据变换模块用于对不同来源的数据进行转换，所述对不同来源的数据进行转换包括属性的数据类型转换、属性构造的转换、数据离散化的转换和数据标准化的转换；

数据集成模块用于把不同来源、不同格式和不同特点性质的数据在逻辑上或物理上有机地集中，从而为数据挖掘提供完整的数据源；

数据消减模块用于对大规模的数据进行数据消减，所述数据消减包括数据聚合、消减纬度、数据压缩和数据块消减；

数据清洗评估模块用于对清洗后的数据进行质量评估；

数据挖掘分析模块包括统计分析模块、机器学习模块、神经网络模块和挖掘分析模块；