[发明专利]一种通过建立单调正相关过滤网的异常物流订单检测方法

说明书

本发明公开了一种通过建立单调正相关过滤网的异常物流订单检测方法，包括如下步骤：获取数据源，包括货源的基本数据与配送费；进行必要的数据清洗，包括缺失值处理与必要格式转换；计算变量间的相关性，分析出与配送费有正相关性的自变量，确定出重要的影响变量；将各因变量进行分箱，分别进行小区间等级划分；分析每种区间组合上配送费的分布并确定各组上下界值，包括组合各自变量，分析每种区间组合上，配送费的分布并确定上下界值，初步形成过滤网；利用正相关性，对过滤网进行矫正，保证随着区间取值的增大，配送费的下界值不减；本发明在保证可解释性与灵活性的前提下，有效提高异常物流订单检测的准确度。

技术领域

本发明涉及异常值检测技术领域，具体是一种通过建立单调正相关过滤网的异常物流订单检测方法。

背景技术

异常值检测，又称离群点检测，是数据挖掘的核心问题之一。通常基于统计学中的分布、箱线图等对一维的观测点序列进行离群点辨别是相对容易的，但如果数据是多维的，往往需要在多维变量之间建立复杂的模型来检测出异常点。

在物流运输配送中，货物配送订单的配送费是否真实合理，直接影响物流交易订单的上层分析与应用。一般常用异常值检测的方法，检测配送订单中的异常配送费。

一般常用的异常值检测方法，如基于概率统计模型方法的3σ准则、基于机器学习方法的孤立森林等，这些方法的思想是通过数据分布情况或是数据密度情况等角度来检测异常值。然而，货物配送费一般随着货物重量、里程等重要影响因素在一定的区间范围内递增，因此一般常用的异常值检测方法无法有效检测出那些配送费随着其影响因素的递增反而递减的异常物流订单。

发明内容

本发明的目的在于提供一种通过建立单调正相关过滤网的异常物流订单检测方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种通过建立单调正相关过滤网的异常物流订单检测方法，包括如下步骤：

获取数据源，包括货源的基本数据与配送费。

进行必要的数据清洗，包括缺失值处理与必要格式转换。

计算变量间的相关性，分析出与配送费有正相关性的自变量，确定出重要的影响变量。

将各因变量进行分箱，分别进行小区间等级划分。

分析每种区间组合上配送费的分布并确定各组上下界值，包括组合各自变量，分析每种区间组合上，配送费的分布并确定上下界值，初步形成过滤网。

利用正相关性，对过滤网进行矫正，保证随着区间取值的增大，配送费的下界值不减；随着区间取值的减小，配送费的上界值不增，形成过滤网模型。

建立配送费预测模型，对比模型效果说明通过过滤网模型剔除异常样本的必要性与有效性，包括对物流交易订单数据进行检验，用筛除脏数据后的交易订单进行参数调整，优化过滤网模型的检测效果。

1、获取数据源。以货源基础信息，如包括始发地、目的地、所需车长、货物重量、货物体积、货物类型、车型(如：不限、普通、平板、高栏、厢式等)、配送里程、是否高速、计费方式(如：趟、吨、方、件等)、装载方式等为主信息，衍生出配送里程(出发地与目的地之间的里程)、货物大类等辅字段。对于每单已成交交易，关联到其配送费，形成一张大宽表。

2、进行必要的数据进行清洗，如:筛选货物重量、所需车长以及配送里程非缺失的样本；剔除发生在特殊节假日的成交样本；对离散字段进行一对一的编码映射，为分析相关性做必要的数据格式转换等等。同时，绘制箱线图、直方图、条形图来查看各自变量与因变量的分布情况。对于尚还缺失的字段处理:A、将自变量缺失比例高于30％的变量剔除；B、缺失比例小于30％的自变量，用中位数填补连续型自变量，用众数填补离散型自变量。