[发明专利]一种计算机数据统计系统及其统计分类方法

说明书

本发明涉及数据统计技术领域，具体地说，涉及一种计算机数据统计系统及其统计分类方法。其包括数据采集单元、数据清洗单元、数据分类单元和数据存储单元，数据采集单元用于对前端数据进行采集，数据清洗单元用于对采集的数据进行数据清洗操作，数据分类单元用于按照数据类型对数据进行分类，数据存储单元用于对分类后的数据进行保存。该计算机数据统计系统及其统计分类方法中，设置数据采集单元，实现数据采集的完整性，防止数据采集丢失，设置数据分类单元，实现按照数据类型对数据进行分类，并通过数据存储单元对分类后的数据进行保存，实现数据分类存储，便于数据调用和查找。

技术领域

本发明涉及数据统计技术领域，具体地说，涉及一种计算机数据统计系统及其统计分类方法。

背景技术

随着大数据时代的到来，数据统计的质量越来越重要，数据统计多采用分布式架构系统实现，但现有的数据统计由于在前端采集时，无法对数据进行预处理，导致数据类型不一致，甚至出现数据丢失现象，影响数据采集的完整性，同时数据统计存储时，无法根据数据之间的关联性进行分类存储，不便于后期查找。

发明内容

本发明的目的在于提供一种计算机数据统计系统及其统计分类方法，以解决上述背景技术中提出的问题。

为实现上述目的，一方面，本发明提供一种计算机数据统计系统，包括数据采集单元、数据清洗单元、数据分类单元和数据存储单元，数据采集单元用于对前端数据进行采集，数据清洗单元用于对采集的数据进行数据清洗操作，数据分类单元用于按照数据类型对数据进行分类，数据存储单元用于对分类后的数据进行保存，数据统计系统流程如下：

S1、通过采集节点采集前端数据；

S2、对采集的数据进行数据清洗处理；

S3、将清洗后的数据进行分类处理；

S4、将分类处理后的数据进行存储。

作为优选，数据采集单元采集数据流程如下：

S11、前端数据采集，通过采集节点采集前端数据；

S12、数据信号调理，将各个采集节点模拟输出分别进行信号变换，使之适应模/数转换器输入端对输入信号的要求；

S13、采样信号保存，将连续信号转化为断续的采样信号，再将断续的采样信号转化为连续信号；

S14、模数信号转换，将模拟量信号转换为数字量信号；

S15、数字信号处理，对采样的数字信号进行处理。

作为优选，采样信号保存采用单位脉冲序列函数描述，其公式如下：

作为优选，数据清洗单元包括以下模块：

模块一：纠正错误模块，纠正数据错误形式；

模块二：删除重复项模块，删除数据中存在的重复记录或重复字段；

模块三：统一规格模块，统一数据规格并将一致性的内容抽象出来；

模块四：修正逻辑模块，明确各个源系统的逻辑、条件、口径，并对异常源系统的采集逻辑进行修正；

模块五：转换构造模块，对数据进行标准化处理；

模块六：数据压缩模块，保持原有数据集的完整性和准确性，不丢失有用信息的前提下，按照一定的算法和方式对数据进行重新组织；

模块七：数据补缺模块，对残缺数据的数据进行补充；

模块八：数据丢弃模块，对于数据中的异常数据进行删除。

作为优选，数据存储单元流程如下：