[发明专利]一种基于配置策略处理excel录入数据的方法及系统

说明书

技术领域

本发明涉及数据清洗领域，具体涉及一种基于配置策略处理excel录入数据的方法及系统。

背景技术

数据清洗(Data cleaning)是对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。现阶段通信发展迅速，很多公司都设置有子公司分公司等，各个公司之间还设置有相应的部门，各个部门之间需要相互的协作和沟通，每个部门之间的数据有差异，但是有时候各个部分之间的数据又需要相互的转达使用，如果各个部门的数据不能协调，就会形成数据孤岛，也就是部门之间的数据沟通难，成本高。以excel表格为例，采购部门记录的通常就是采购物资类型，采购金额，采购数量等，而会计部门需要进行计算，那么则需要采购部门的数据来计算固定资产和流动资产等，但是如果数据差别大，那么会计部分收到采购部门的数据之后还需要对项目进行类别判断，人工统计，如果公司小一些事情不麻烦，如果公司较大，将需要大量的人力进行数据整合等，造成公司的工作效率不高，人力资源过高。

现有提供了一些数据清洗方式，可以对冗余的数据以及无效数据进行删除等，最后保留有效数据等，但是这些清洗方式并不通用，试想一下金融行业的数据清洗与一个制造行业的数据清洗相差巨大，适用于某类行业的数据处理方法并不一定适合另外的行业，那么就会造成每个公司或者每个行业都需要找其他人员建立一个相应的数据清洗方法，那么如何建立一个行业通用的数据清洗方法对于提升行业间的沟通等有重要作用。

发明内容

本发明的目的在于：针对现有技术中数据清洗方法灵活度低而造成数据清洗方法并不适用于其他行业或者相应数据无法灵活导入导出的问题，本发明提供了一种基于配置策略处理excel录入数据的方法及系统。

本发明采用的技术方案如下：

一种基于配置策略处理excel录入数据的方法，包括以下步骤：

步骤1：以正则表达式构建过滤策略库；

步骤2：根据行业规则建立各个行业对应的基础清洗策略库；

步骤3：根据用户所在行业获取对应的基础清洗策略库，根据用户的需求对基础清洗策略库的策略自定义编辑得到自定义清洗策略库；

步骤4：导入用户待清洗的数据内容，根据步骤1中的过滤策略库对数据内容进行过滤为内容正确数据和内容错误数据；

步骤5：根据步骤3中的自定义清洗策略库对步骤4中的内容错误数据进行清洗得到清洗数据结果，并对清洗数据结果进行纠正得到纠正后的清洗数据和无法纠正的清洗数据；

步骤6：将步骤4的内容正确数据和步骤5中的纠正后的清洗数据拼接得到数据库表。

上述方案中，具体地，所述过滤策略库、基础清洗策略库和自定义清洗策略库均是统一接口的方式供用户调用。

上述方案中，具体地，所述步骤1中的过滤策略库包括每个策略的名称和每个策略的表达式内容。

上述方案中，具体地，所述步骤5中的无法纠正的清洗数据直接导出。

一种基于配置策略处理excel录入数据的系统，包括过滤策略构建模块、基础清洗策略构建模块、自定义清洗策略构建模块、数据解析导入模块和自动建表模块；

所述数据解析导入模块，导入用户待清洗的数据内容；

所述过滤策略构建模块，生成过滤策略库，获取数据解析导入模块发送的用户待清洗的数据内容，并根据过滤策略库对用户待清洗的数据内容过滤分为内容正确数据和内容错误数据；

所述基础清洗策略构建模块，建立各个行业对应的基础清洗策略库；

所述自定义清洗策略构建模块，获取基础清洗策略构建模块发送的用户所在行业的基础清洗策略库，并根据用户所在行业的基础清洗策略库定义编辑得到自定义清洗策略库，根据自定义清洗策略库对过滤策略构建模块发送的内容错误数据清洗得到清洗数据结果，并对清洗数据结果行纠正得到纠正后的清洗数据和无法纠正的清洗数据；

所述自动建表模块，获取过滤策略构建模块发送的内容正确数据以及获取自定义清洗策略构建模块发送的纠正后的清洗数据，并将内容正确数据和纠正后的清洗数据拼接得到数据库表。

上述方案中，具体地，所述过滤策略构建模块以正则表达式生成过滤策略库。

上述方案中，具体地，所述数据解析导入模块，以表格的形式将数据导入。

上述方案中，具体地，还包括无效数据导出模块，接收自定义清洗策略构建模块发送的无法纠正的清洗数据并导出。

综上所述，由于采用了上述技术方案，本发明的有益效果是：