[发明专利]一种数据处理方法及系统

说明书

本发明属于数据处理技术领域，提出了一种数据处理方法及系统，包括获得原始数据，原始数据包括一一对应的第一编码、原始属性和原始属性值；建立标准数据字典，标准数据字典包括标准属性和转换对照表；根据原始数据和标准数据字典，建立配置数据字典，配置数据字典包括一一对应的第二编码、配置属性和配置属性值；保存配置数据字典。通过上述技术方案，解决了现有技术中原始数据有冗余性和不确定性，导致数据分析结果不准确的问题。

技术领域

本发明属于数据处理技术领域，涉及一种数据处理方法及系统。

背景技术

在工业生产过程中，要进行原材料的采购，原材料价格会不断变化，需要对原材料采购的历史数据进行统计，分析出影响价格的各个因素，以便能够采购到价格合理的原材料。对钢铁行业来说，影响价格的因素有多种，包括品种名称、规格、材质、地区、厂家等，传统的统计方法采集的原始数据有冗余性和不确定性，不能进行有效的筛查，没有标准性和统一性，各个数据字段没有关联和紧密性，无法进行系统的统计和对比，导致不能得到准确的数据分析结果。

发明内容

本发明提出一种数据处理方法及系统，解决了现有技术中数据分析结果不准确的问题。

本发明的技术方案是这样实现的：

一种数据处理方法，包括

获得原始数据，原始数据包括一一对应的第一编码、原始属性和原始属性值；

建立标准数据字典，标准数据字典包括标准属性和转换对照表；

根据原始数据和标准数据字典，建立配置数据字典，配置数据字典包括一一对应的第二编码、配置属性和配置属性值，

所述第二编码用于标识所述标准数据，所述配置属性从所述标准属性中选择，所述配置属性值从原始属性值得到；

保存所述标准数据。

进一步，所述原始属性包括产品代称字段、原始规格字段、原始材质字段、原始单位字段、原始市场字段、原始产地字段、原始企业字段和原始价格形式字段；

所述标准属性包括产品统称字段、标准规格字段、标准材质字段、标准单位字段、标准市场字段、标准产地字段、标准企业字段和标准价格形式字段，

转换对照表包括产品统称对照表、规格对照表、材质对照表、单位对照表、市场对照表、产地对照表、企业对照表和价格形式对照表，

所述产品统称对照表用于查询产品统称字段与产品代称字段的一一对应关系，

所述规格对照表用于查询标准规格字段与原始规格字段的一一对应关系，

所述材质对照表用于查询标准材质字段与原始材质字段的一一对应关系，

所述单位对照表用于查询标准单位字段与原始单位字段的一一对应关系，

所述市场对照表用于查询标准市场字段与原始市场字段的一一对应关系，

所述产地对照表用于查询标准产地字段与原始产地字段的一一对应关系，

所述企业对照表用于查询标准企业字段与原始企业字段的一一对应关系，

所述价格形式对照表用于查询标准价格形式字段与原始价格形式字段的一一对应关系。

进一步，在一天之内，进行多次原始数据的获取，获取原始数据，并按照固定的排序放入到Python语言的set集合里，存入本地数据库。

一种数据处理系统，包括

第一获得单元，用于获取原始数据；

第一处理单元，用于建立标准数据字典；