[发明专利]一种基于农业大数据的异常值检测方法

说明书

本发明涉及农业异常值检测领域，具体涉及一种基于农业大数据的异常值检测方法，包括：数据采集步骤，采集农业生产数据、农业土壤数据和农业气象资源数据，并整合成训练数据集；构建iTree树步骤，从训练数据集中选取m个样本点，不断随机选取分裂属性和分裂点，直到达到终止条件；构建孤立森林算法模型步骤，初始化孤立森林中的iTree树的数目t和构建iTree树时抽取的子样本集m，进入循环构建iTree树的步骤，构建相互独立的iTree树，所有iTree树的集合构成孤立森林算法模型；异常值判断步骤，计算异常分值s(x)，通过异常分值s(x)判断测试数据x是否为异常值。本发明将孤立森林算法模型应用到农业大数据的异常值检测，能有效地提高农业大数据的异常值的检测效果。

技术领域

本发明涉及农业异常值检测领域，具体涉及一种基于农业大数据的异常值检测方法。

背景技术

信息化管理是农业经济发展的必然趋势，是将传统农业转变为现代化农业的必经过程。随着农业信息化的发展，农业大数据正在成为大数据应用的又一重点。农业大数据是跨专业和跨行业的数据分析和挖掘，将大数据与农业领域的相关科学研究相结合，可以为政府决策、农业科研和涉农企业发展等提供新方法和新思路，具有广阔的发展前景。

异常值是指在一组测定值中与平均值的偏差超过两倍标准差的测定值，在处理数据时应剔除异常值。农业大数据的异常值检测对于实现农业生产监管和提高农业生产决策水平具有重要意义，适时对农业大数据的异常值进行检测，一方面可以避免我们将其当作正常数据去分析处理，导致错误的决策判断，另一方面，可以分析异常值出现的原因，采取相应的措施，降低损失，提升经济效益。

现有技术中农业大数据的异常值检测方法主要有：统计分析法，是运用数学方式建立数学模型，对通过调查获取的各种数据及资料进行数理统计和分析，形成定量的结论，其定额准确性和可靠性差，且反映的是历史情况而不是现实条件变化的影响，其异常值检测效果不好；基于密度和距离的异常值检测方法，时间复杂度高、计算开销大，而且是监督学习算法，对于大量农业数据的异常值检测效率很低。

孤立森林算模型法主要用于网络安全中的攻击监测和异常流量分析、电力调度流数据分析以及金融的欺诈行为挖掘，其处理速度快，还具有线性时间复杂度。与网络、电力以及金融流量数据相比，农业大数据具有高维、海量、数据类型复杂的特点，目前，该算法模型在农业大数据中还没有实践应用。

发明内容

本发明的目的在于提供一种基于农业大数据的异常值检测方法，采用分布式系统结合孤立森林算法模型对农业大数据的异常值进行检测，解决了现有技术中异常值检测效果不好的问题。

本发明的基础方案为：一种基于农业大数据的异常值检测方法，包括：

数据采集步骤，采集农业生产数据、农业土壤数据和农业气象资源数据，并通过抽样训练的方法对数据进行训练，训练后得到若干棵隔离树，隔离树的集合构成训练数据集；

构建iTree树步骤，从训练数据集中选取m个样本点，不断随机选取分裂属性和分裂点，达到终止条件时完成iTree树的构建；

构建孤立森林算法模型步骤，初始化孤立森林算法模型中的iTree树的数目t和构建iTree树时抽取的子样本集m，进入循环构建iTree树的步骤，构建相互独立的iTree树，构建的iTree树均部署在分布式系统上，当iTree树的数目达到预设iTree树的数目t时，停止构建iTree树，所有iTree树的集合构成孤立森林算法模型；

异常值判断步骤，将测试数据x遍历孤立森林算法模型中的每棵iTree树，得到其在每棵iTree树中所处的深度h(x)，计算测试数据x的平均深度E(h(x))和异常分值s(x)，通过异常分值s(x)判断测试数据x是否为异常值。

本发明的有益效果：