[发明专利]一种多源风控数据清洗处理方法

说明书

本发明涉及风控数据处理技术领域，具体地说，涉及一种多源风控数据清洗处理方法。包括历史数据采集，系统采用全量导入方式将风控历史数据导入；实时数据采集，系统基于数据库日志解析的方式来获取增量变更实现实时数据的同步；模式匹配，以属性的相似度为依据，对数据进行模式匹配；语义转换，将各异构数据源的属性数据转换成标准数据；无效信息过滤，识别并剔除错误数据和重复数据；数据加密，对原始数据进行加密；数据压缩，对原始数据采用无损的压缩处理。本发明设计的数据采用多源采集方式，同时实现数据的统一，便于数据处理，且能够减少无效数据，提升数据处理效率。

技术领域

本发明涉及风控数据处理技术领域，具体地说，涉及一种多源风控数据清洗处理方法。

背景技术

风险存在于所有商业活动中，产生风险的来源不同，评估风险所需的策略、数据、模型会千差万别，因此，避免风险的方法是需要对风险进行分析，并掌握其规律，实现风险的控制，风险控制需要采集多源数据，由于数据来源不同，导致其数据种类不同，无法进行统一的分析，同时，数据中含有大量无用数据，在分析时，数据分析量庞大，导致数据分析效率低。

发明内容

本发明的目的在于提供一种多源风控数据清洗处理方法，以解决上述背景技术中提出的问题。

为实现上述技术问题的解决，本发明的目的之一在于，提供一种多源风控数据清洗处理方法，包括如下步骤：

(一)、多源数据采集阶段：

S1.1、历史数据采集，系统采用全量导入方式将风控历史数据导入；

S1.2、实时数据采集，系统基于数据库日志解析的方式来获取增量变更实现实时数据的同步；

(二)、数据整合阶段：

S1.3、模式匹配，以属性的相似度为依据，对数据进行模式匹配；

S1.4、语义转换，将各异构数据源的属性数据转换成标准数据；

(三)、数据清洗阶段：

S1.5、无效信息过滤，识别并剔除错误数据和重复数据；

S1.6、数据加密，对原始数据进行加密；

S1.7、数据压缩，对原始数据采用无损的压缩处理。

作为本技术方案的进一步改进，所述全量导入方式的方法包括如下步骤：

S2.1、查找对应文件的源文件，浏览对应的源文件，读取该文件下的所有的预设文件类型的数据文件名，并将有效的文件名记录到列表或者存储到文本文件中；

S2.2、获取数据源文件列表，一般情况下，同类型且同字段格式的放到一个文件夹下，因此，该文件夹下的所有文件的字段都是一样的，只需要读取文件名列表的第一个文件的所有字段，之后其他文件的字段就不需要重复读取，将这些数据源字段列举到新的列表中由用户挑选需要导人的字段；

S2.3、准备目标数据库和目标数据表，由用户来选择要导入到的目标服务器位置，如果是本地的服务器输人计算机名或IP地址即可，异地服务器需要输人对应的服务器IP地址，服务器连接成功后，继续选择该服务器下的数据库列表，以及所选数据库下的数据表列表；

S2.4、确定数据源与目标字段，根据需要结合数据源文件的字段列表和目标数据表的字段列表，确定数据源文件的字段和目标数据表的字段，舍弃不需要的字段，但应注意双方字段数量和字段类型要一致；

S2.5、生成导入新记录的表达式，根据数据源和目标字段自动生成新的数据导人操作表达式；

S2.6、按照数据源文件列表逐个打开、读取数据源文件记录，将需要导人的字段逐个导人到目标数据库。