[发明专利]一种审计大数据处理方法及系统

说明书

本发明属于审计数据处理技术领域，公开了一种审计大数据处理方法及系统，所述审计大数据处理系统包括：审计数据获取模块、结构化处理模块、审计数据存储模块、中央处理模块、审计数据预处理模块、特征提取模块、审计数据分析处理模块、审计数据输出模块、审计数据更新显示模块。本发明提供的审计大数据处理方法，通过将待处理的原始审计数据提取为结构化数据，形成可检索的二维表结构，便于后续审计数据的生成，避免人工干预，提高效率，审计智能化、准确性高。同时，本发明通过审计数据预处理模块和ETL工具，提高了审计数据的采集质量，审计数据存储采用分布式文件系统，解决了审计数据存储的容量瓶颈，同时保证了审计数据的安全性。

技术领域

本发明属于审计数据处理技术领域，尤其涉及一种审计大数据处理方法及系统。

背景技术

大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据具有4V特点：Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。但是，传统的基于大数据的审计方法对数据的采集存在目的性和选择性上不够准确导致数据臃肿，影响审计分析结果。因此，亟需一种新的审计大数据处理方法。

通过上述分析，现有技术存在的问题及缺陷为：传统的基于大数据的审计方法对数据的采集存在目的性和选择性上不够准确导致数据臃肿，影响审计分析结果。

发明内容

针对现有技术存在的问题，本发明提供了一种审计大数据处理方法及系统。

本发明是这样实现的，一种审计大数据处理方法，所述审计大数据处理方法包括以下步骤：

步骤一，通过审计数据获取模块利用审计数据获取设备获取待处理的原始审计数据；

步骤二，通过结构化处理模块利用结构化处理程序将获取的原始审计数据进行结构化转换；

步骤三，通过审计数据存储模块利用审计数据存储程序将结构化转换后的数据以文件扩展名的形式存储至云数据库服务器；

所述将结构化转换后的数据以文件扩展名的形式存储至云数据库服务器，具体为：

根据关系型数据存储方法，在第一服务器存储一个以上第一数据以及所述一个以上第一数据与一个以上第二数据的序列标识的对应关系；

对两个以上第二服务器的标识进行映射运算，获取所述两个以上第二服务器的标识的映射值；根据所述两个以上第二服务器的标识的映射值，将映射值集合划分为两个以上映射值区间；将所述两个以上映射值区间分别对应所述两个以上第二服务器，作为该第二服务器的存储标识范围；

对所述一个以上第二数据的序列标识进行所述映射运算，以每个第二数据的序列标识的映射值作为该第二数据的存储标识；

根据所述一个以上第二数据的序列标识，分别获取每个第二数据的存储标识；

根据所述每个第二数据的存储标识和所述每个第二服务器的存储标识范围，将该第二数据存储到对应的第二服务器；

关闭所述两个以上第二服务器中的一个以上第二服务器；将存储标识属于关闭的第二服务器的存储标识范围的第二数据，存储到存储标识范围为该关闭的第二服务器的存储标识范围之后的第二服务器，并采用该关闭的第二服务器的标识对该第二数据进行标记；

重新开启关闭的所述一个以上第二服务器；根据第二数据标记的所述第二服务器的标识，将该第二数据存储到该标识对应的第二服务器；

步骤四，通过中央处理模块利用中央处理器控制所述审计大数据处理系统各个模块的正常运行；