[发明专利]一种通过建立单调正相关过滤网的异常物流订单检测方法

权利要求书

1.一种通过建立单调正相关过滤网的异常物流订单检测方法，其特征在于，包括如下步骤：

获取数据源，包括货源的基本数据与配送费；

进行必要的数据清洗，包括缺失值处理与必要格式转换；

计算变量间的相关性，分析出与配送费有正相关性的自变量，确定出重要的影响变量；

将各因变量进行分箱，分别进行小区间等级划分；

分析每种区间组合上配送费的分布并确定各组上下界值，包括组合各自变量，分析每种区间组合上，配送费的分布并确定上下界值，初步形成过滤网；

利用正相关性，对过滤网进行矫正，保证随着区间取值的增大，配送费的下界值不减；随着区间取值的减小，配送费的上界值不增，形成过滤网模型；

建立配送费预测模型，对比模型效果说明通过过滤网模型剔除异常样本的必要性与有效性，包括对物流交易订单数据进行检验，用筛除脏数据后的交易订单进行参数调整，优化过滤网模型的检测效果。

2.根据权利要求1所述的一种通过建立单调正相关过滤网的异常物流订单检测方法，其特征在于，获取数据源步骤，以货源基础信息，包括始发地、目的地、所需车长、货物重量、货物体积、货物类型、车型、配送里程、是否高速、计费方式、装载方式等为主信息，衍生出配送里程、货物大类等辅字段，对于每单已成交交易，关联到其配送费，形成一张大宽表。

3.根据权利要求2所述的一种通过建立单调正相关过滤网的异常物流订单检测方法，其特征在于，进行必要的数据清洗步骤，包括筛选货物重量、所需车长以及配送里程非缺失的样本；剔除发生在特殊节假日的成交样本；对离散字段进行一对一的编码映射，为分析相关性做必要的数据格式转换等等，同时，绘制箱线图、直方图、条形图来查看各自变量与因变量的分布情况，对于尚还缺失的字段处理:A、将自变量缺失比例高于30％的变量剔除；B、缺失比例小于30％的自变量，用中位数填补连续型自变量，用众数填补离散型自变量。

4.根据权利要求3所述的一种通过建立单调正相关过滤网的异常物流订单检测方法，其特征在于，计算变量间的相关性步骤，采用公式：其中X表示任一自变量，Y表示配送费freight，分析出与配送费freight之间正相关性最高且相关性不低于0.8的三个的自变量，若存在较多个与配送费正相关性较大的自变量，可考虑先对自变量做主成分分析进行降维处理；若找不到满足条件的自变量，则不断筛选子样本集进行类似分析，直到可以确定出重要的影响变量，得到与因变量配送费freight相关性高的自变量有货物重量weight、所需车长length、配送里程mileage。

5.根据权利要求4所述的一种通过建立单调正相关过滤网的异常物流订单检测方法，其特征在于，将各因变量进行分箱步骤，分别进行小区间等级划分，将配送里程划分成7个区间等级，货物重量划分成7个区间等级，所需车长划分成6个区间等级，分割的临界值与等级数量视业务与货源分布情况而确定。

6.根据权利要求5所述的一种通过建立单调正相关过滤网的异常物流订单检测方法，其特征在于，分析每种区间组合上配送费的分布并确定各组上下界值步骤：

假设在配送里程i等级、货物重量j等级、所需车长等级k内，成交的物流交易样本有N个，配送费freight记为标准差为则该组合区间内配送费freight在区间内，即配送费下界值为上界值为配送费超出均值三倍标准差之外的样本均视为异常样本；基于上述，每个组合等级下的配送费上下界确定出来，形成初步的过滤网。