[发明专利]一种基于农业大数据的异常值检测方法

摘要

本发明涉及农业异常值检测领域，具体涉及一种基于农业大数据的异常值检测方法，包括：数据采集步骤，采集农业生产数据、农业土壤数据和农业气象资源数据，并整合成训练数据集；构建iTree树步骤，从训练数据集中选取m个样本点，不断随机选取分裂属性和分裂点，直到达到终止条件；构建孤立森林算法模型步骤，初始化孤立森林中的iTree树的数目t和构建iTree树时抽取的子样本集m，进入循环构建iTree树的步骤，构建相互独立的iTree树，所有iTree树的集合构成孤立森林算法模型；异常值判断步骤，计算异常分值s(x)，通过异常分值s(x)判断测试数据x是否为异常值。本发明将孤立森林算法模型应用到农业大数据的异常值检测，能有效地提高农业大数据的异常值的检测效果。

主权项

1.一种基于农业大数据的异常值检测方法，其特征在于：包括：数据采集步骤，采集农业生产数据、农业土壤数据和农业气象资源数据，并通过抽样训练的方法对数据进行训练，训练后得到若干棵隔离树，隔离树的集合构成训练数据集；构建iTree树步骤，从训练数据集中选取m个样本点，不断随机选取分裂属性和分裂点，达到终止条件时完成iTree树的构建；构建孤立森林算法模型步骤，初始化孤立森林算法模型中的iTree树的数目t和构建iTree树时抽取的子样本集m，进入循环构建iTree树的步骤，构建相互独立的iTree树，构建的iTree树均部署在分布式系统上，当iTree树的数目达到预设iTree树的数目t时，停止构建iTree树，所有iTree树的集合构成孤立森林算法模型；异常值判断步骤，将测试数据x遍历孤立森林算法模型中的每棵iTree树，得到其在每棵iTree树中所处的深度h(x)，计算测试数据x的平均深度E(h(x))和异常分值s(x)，通过异常分值s(x)判断测试数据x是否为异常值。