[发明专利]一种旗鱼优化器优化极端梯度提升的欺诈检测方法及系统

说明书

本发明提供一种旗鱼优化器优化极端梯度提升的欺诈检测方法及系统，其技术要点在于：获取欺诈数据，将欺诈数据集进行处理；将欺诈数据集用于对极端梯度提升的欺诈检测模型进行训练，对旗鱼优化器中的寻优能力和跳出局部最优能力上进行增强，改进了其参数搜索过程，增强处理复杂的全局搜索。在运用改进旗鱼优化器优化极端梯度提升参数时，训练用到的数据集采用SMOTE进行数据类平衡处理，定义优化函数的适应度计算公式，使模型找到最优的超参数。本发明利用Spark分布式平台进行并行化，相比于传统的网格搜索，基于Spark的并行改进的旗鱼优化算法可以高效找到更优参数组合以提高极端梯度提升的分类精度，且在大数据Spark分布式平台下，训练检测速度明显提高。

技术领域

本发明属于分布式机器学习模型训练领域，涉及一种旗鱼优化器优化极端梯度提升的欺诈检测方法及系统。

背景技术

在线支付以迅捷便利的优点受到全球的欢迎，逐渐成为大部分人的支付方式。不法分子利用这种特性，通过多种方式来隐藏自己的身份，从传统欺诈转变成更不易暴露自己的线上交易欺诈中去。据统计全球信用卡欺诈交易中，截止到2019年信用卡欺诈的损失高达约286.5亿美元，预计到2023年损失将会达到约329.6亿美元。在线交易中，其中隐藏的一些欺诈交易甚至发生在交易机构和交易账户所有人都不知道的情况下进行，这正是在线支付交易中最难处理的一类。更让人头疼的是，欺诈交易只占总的交易中的很少的一部分，当面对这种数以万计的真实交易中极个别的欺诈交易时，人工筛选变得不可实现，检测在线欺诈交易成为了一个非常有挑战性的难题。

因此，研究能够检测在线支付交易的欺诈检测方法是非常有必要的。人工智能技术的提升，欺诈检测这一研究课题中的欺诈检测技术，都被应用在金融行业中的检测欺诈行为中，机器学习和数据挖掘在检测金融部门的欺诈活动起到很大帮助。其中检测欺诈活动算法分为有监督和无监督学习，这些分类算法一直是检测在线欺诈交易最通用的。不管是有监督还是无监督在尝试检测所有欺诈活动中都面临着很多挑战。

发明内容

为了克服上述现有技术的不足，本发明旨在提供一种旗鱼优化器优化极端梯度提升的欺诈检测方法及系统。

根据本发明的第一方面，提供了一种旗鱼优化器优化极端梯度提升的欺诈检测方法，包括：

步骤1：获取欺诈数据集，将欺诈数据集进行处理，并保存到分布式文件系统中；

步骤2：将欺诈数据集用于对极端梯度提升的欺诈检测模型进行训练，采用改进旗鱼优化器对极端梯度提升的欺诈检测模型的参数进行全局优化寻优，得到优化的参数组合；

步骤3：旗鱼优化器中，根据适应值所决定的规则，各分区上比较旗鱼种群和沙丁鱼种群的最优适应值，当沙丁鱼优于旗鱼适应值，旗鱼替换沙丁鱼位置，沙丁鱼位置通过莱维飞行更新；

步骤4：某分区的旗鱼和沙丁鱼子种群的适应值优于精英适应值时，该从节点汇集到Spark的主节点上进行精英旗鱼更新和沙丁鱼；

步骤5：将更新后的精英旗鱼和精英沙丁鱼的信息重新广播到各个从节点上；

步骤6：判断旗鱼种群迭代是否达到最大迭代次数；

若否，则重新返回步骤2；

若是，则返回最后的精英旗鱼，即为当前改进旗鱼优化器寻找到的最优解。

在上述技术方案的基础上，本发明还可以作出如下改进。

可选的，在步骤1中，所述将欺诈数据集进行处理，并保存到分布式文件系统中包括：

步骤1.1：将欺诈数据集中类型数据按标签赋值，与时间，金额列一并进行归一化处理；

步骤1.2：将处理好的数据集分为训练集和测试集；

步骤1.3：采用人工少数类过采样方法来处理训练集中类不平衡的问题；