[发明专利]数据加工方法及系统

摘要

本发明涉及计算机信息处理技术领域，提供一种数据加工方法及系统，以解决数据加工过程中数据整合利用困难的问题。该数据加工方法主要包括从数据源采集数据、对数据进行加工整理、对加工整理后的数据进行校验、将校验后的数据根据应用需求输出，本发明提出的技术方案将数据进行了清理，规范了数据格式，通过二次加工提高了数据的适用范围。

主权项

一种数据加工方法，其特征在于包括如下步骤：步骤A：从数据源采集数据，将采集的数据转化为统一的格式存入第一数据库；步骤B：对第一数据库中的数据进行加工整理，所述加工整理具体包括原始数据清理、数据格式化处理、数据对比、数据关联处理、数据二次加工；步骤C：对加工整理后的数据进行校验；步骤D：将校验后的数据根据应用需求输出至第二数据库，所述第二数据库为业务系统的数据库；所述数据源为数据库系统和/或互联网；从互联网采集数据的方法包括：目标网站定位；网页源码分析；网站数据建模；数据抓取；所述步骤C中的校验为数据唯一性校验、数据格式校验或数据合理性校验；所述数据唯一性校验具体包括对数据表一个字段进行单一性检索或对多个字段的组合进行单一性检索；所述数据格式校验包括对数据的类型进行检索；所述数据的合理性校验包括对日期、字符长度、类型进行判断；所述原始数据清理具体包括明显错误数据处理、重复数据处理和数据合并处理；所述数据格式化处理包括特殊字符的删除与替换；所述数据对比包括将不同数据源的数据根据数据字段进行对比，然后将同类数据整合至数据表中并根据时间节点形成数据历史表；所述数据关联处理包括将不同数据表中相关联的数据进行标引，并建立索引关系；所述数据二次加工包括针对原始数据的数据挖掘建立数据索引。