[发明专利]一种基于大数据的智能案防系统

摘要

本发明公开了一种基于大数据的智能案防系统，该系统包括管理平台、spark大数据平台、分析引擎、数据预处理引擎、指标引擎、训练引擎和决策引擎。本发明将规则进行细粒度拆分，进行了指标化，进一步提升规则的准确度；指标引擎采用的流处理技术能对原始数据进行特征单点快速提取和计算，从海量原始数据中得到有代表性的特征，充分提取数据中的信息；模型训练使用多种优化过的机器学习模型和集成学习框架，能够克服单个模型过拟合、不稳定的缺陷；智能决策双核引擎订阅规则和模型，两者并行运行，互相补充，可实时判断业务数据和规则和模型的匹配度，提升风险识别能力；基于知识图谱，能够通过关联分析和模型分析快速定位可疑的风险数据。

主权项

1.一种基于大数据的智能案防系统，其特征在于，该系统包括管理平台、spark大数据平台、分析引擎、数据预处理引擎、指标引擎、训练引擎和决策引擎。所述管理平台包括机器学习建模平台、指标管理平台、智能决策平台、核查平台和知识图谱平台。所述机器学习建模平台用于对spark大数据平台的数据进行管理、分析和预处理，以及对机器学习模型进行训练、预测以及管理操作。所述指标管理平台通过调用流处理引擎和DAG引擎，对指标进行加工和管理。所述智能决策平台基于机器学习模型和加工出来的指标，进行规则的可视化配置，具体为：基于业务指标、机器学习模型结合阈值组合成条件；在条件的基础上通过逻辑与、或关系组合成规则；在规则基础上，通过或的关系组成规则包，用于不同的业务场景。所述核查平台对触发了规则的核查单进行管理，同时将可疑的数据通过下发流程发至指定机构进行进一步核查。所述知识图谱平台是基于图库的可视化分析技术，结合时间、空间、行为特征多种维度探索对象间的关联关系，通过关联分析和模式分析辅助业务人员在核查过程中帮助用户快速发现风险点。所述分析引擎是指通过Python或者SQL对spark大数据平台的数据进行分析，包括技术分析和业务分析，技术分析通过分析数据的质量及分布，确认数据是否可用，业务分析通过分析数据的结构，明确数据的应用场景、当前业务下风险案件的作案手法，获得更符合业务场景特征的指标与规则。所述数据预处理引擎基于分析引擎的数据分析结果，对于不规范或者不合理的数据，对其进行规范化处理。所述指标引擎包括通过DAG引擎进行指标加工和通过流处理引擎进行指标加工。DAG指标加工基于spark大数据平台，通过SQL对静态类指标进行加工、提取和计算；流处理指标加工是通过流式大数据处理对时序有要求或者统计类的指标的加工、快速提取和计算，这些指标可以作为机器学习模型、规则配置以及知识图谱的输入参数。所述训练引擎包括基于加工好的指标进行模型训练、模型评估；所述模型训练，根据设定的模型参数，利用清洗后的特征数据进行训练；所述模型评估，利用新的数据集对训练好的模型进行评价，如果质量符合要求即可进行模型部署和使用；所述决策引擎用于订阅上线的规则和模型，两者并行运行，互相补充，决策引擎可实时判断业务数据和规则和模型的匹配度；当触发对应的规则时，会对规则进行汇总，并根据当初设置的规则处置策略和风险等级，选择优先级高的规则执行相应的处置动作；之后再将触发规则的数据生成核查单传送到核查平台。