[发明专利]对不同来源的业务数据进行规范化处理的方法及系统

说明书

技术领域

本发明涉及对不同来源的业务数据进行数据处理的技术，特别涉及一种对不同来源的业务数据进行规范化处理的方法及系统。 

背景技术

各行各业的生产厂商都希望及时、准确、完整地掌握其渠道商销售的相关数据，但是各个渠道商在采集数据时所采用的数据字段格式不完全相同，即使数据的字段格式相同的，数据内容填写也不完全相同。例如：同样是产品名称这一字段，同样是“史克肠虫清”，有的渠道商会填写“史克肠虫清”，有的会填写“阿苯达唑(史克肠虫清)”等等。这就使得生产厂商在对不同来源的业务数据进行处理时，很困难。 

目前，所采用的方式是由第三方数据处理企业，接收其各个渠道商的业务数据，将其统一格式和数据内容后，再发送给生产厂商。通常是通过一套完整的软件来实现。首先，会在生产厂商的各个渠道商(下文中统称为渠道商)处安装客户端程序，该程序中固定了该生产厂商所需要的符合该生产厂商格式的渠道商信息及产品信息等。渠道商每天的销售相关数据会通过数据系统与该生产厂商需要的渠道商信息进行匹配，在匹配完成后再将数据转换成所匹配的内容并统一发送至生产厂商。 

该方式虽然解决了生产厂商对于数据及时性的需求，但对于数据的准确性，却存在以下不足： 

1、渠道商的下游渠道存在可变性，一旦渠道发生变化，原本储存在系统中固定的匹配关系其准确性及数据的可匹配率将大大下降。 

2、生产厂商的渠道商信息也存在可变性，如果生产厂商需要变更其下游渠道，第三方数据处理企业无法将所有部署在全国各地渠道商的系统中的匹配关系进行快速的更新，且每次更新都需要花费大量的人力和 财力。 

3、对于无法匹配的数据，即使该数据是真实有效的渠道业务数据，生产厂商也无法获取。 

除了上述方式，一些专业的数据处理公司还采用了另一种策略。通过邮件或快递等方式获取渠道铺货数据，先将其转换成统一标准的电子文件格式，以此来确保原始数据的完整性和准确性；其次安排质检人员对数据的准确性进行双录排错与数据汇总，确保数据与原始一致，然后将数据中的下游渠道商匹配成客户需要的渠道商信息，在检查无误后再已刻录光盘或邮件的形式反馈至客户。 

这种处理方式采取了全人工处理的策略，通过双录排错及人工校验的形式保证了数据的准确性，可对于数据的及时性，却依然存在以下不足： 

1、及时性差，且人工成本高。 

由于采取了人工处理的策略，整个处理较机器处理所需时间长、效率低。尤其是海量数据，该类根本无法在短时间内完成处理， 

2、对于无法匹配的数据，即使是真实有效的渠道业务数据，生产厂商也无法获取。即使生产厂商获取了这部分数据，由于没有进行规范化处理，也只是渠道商提供的原始数据，无法供生产厂商使用。 

发明内容

有鉴于此，本发明的主要目的在于一种对不同来源的业务数据进行规范化处理的方法及系统，实现不同来源的业务数据中相同字段的数据内容的规范化。 

为达到上述目的的一个方面，本发明提供了一种种对不同来源的业务数据进行规范化处理的方法，对于不同来源的、具有相同数据字段格式的业务数据文件，执行如下步骤： 

A、按照数据字段的名称，将业务数据划分为多组数据。 

B、从业务数据中的第一组开始，逐个对每组数据执行： 

B1、按照预先配置的规则，将该组数据中的每个数据字段中的数据 内容转换为标准格式。 

B2、从不能转换为标准格式的数据内容中提取标准格式的数据内容所需要的信息，与对应数据字段的标准格式的数据内容进行匹配。 

所述标准格式的数据内容存储在预先设置的标准主数据中。 

B3、将匹配成功的数据内容转换为标准格式，对匹配不成功的数据内容执行步骤B4。 

B4、将步骤B2提取的信息，按照标准格式新建一条标准格式的数据内容，存储到所述标准主数据中；将匹配不成功的数据内容与新建的标准格式的数据内容进行匹配，转换为标准格式。 

为达到上述目的的一个方面，本发明还提供了一种对不同来源的业务数据进行规范化处理的系统，包括： 

数据拆分单元，按照数据字段的名称，将业务数据划分为多组数据，从业务数据中的第一组开始，逐个将每组数据传送给数据转换单元。 

数据转换单元，按照预先配置的规则，将每组数据中的每个数据字段中的数据内容转换为标准格式，将转换后的数据输出，将不能转换为标准格式的数据内容传送给数据匹配单元。