[发明专利]基于分布式计算与检测代价排序的训练学习方法及装置

说明书

一种基于分布式计算与检测代价排序的Adboost训练学习方法及装置，本发明属于计算领域，解决由于单个计算机的内存与计算能力上限，导致的高维度海量数据样本训练检测速度慢的问题，以实现并行训练，且循环形成新的级联分类器，加速检测速度。要点是：包括：步骤三.分布式训练，对第一样本拆分并分发各计算机，各计算机依据分配的强分类器的计算指标分别训练强分类器，并按照强分类器的分类能力组成新的级联分类器；步骤四.下一次分布式训练，将各个计算机的分错的第一样本汇总，对第一样本拆分并分发各计算机，各计算机依据分配的强分类器的计算指标分别训练强分类器，并按照强分类器的分类能力组成新的级联分类器。

技术领域

本发明属于计算领域，涉及一种分类器的训练学习方法。

背景技术

随着人工智能的商业化脚步不断加快，使用机器学习算法对各种一维、二维、三维乃至更高维度的样本训练成为了许多机器学习算法应用的无形障碍。因为随着样本维度与数量的增加，训练学习样本所占用的内存资源与CPU及GPU等计算资源也不断增加。一般一个PC或服务器的内存总是会有上限，这样就会在很大程度上限制训练学习的样本数目。目前传统的机器学习算法在训练技巧上虽然千差万别，但是占用系统资源却是无法避免的。因此要实现海量数据的样本训练，并行计算与分布式计算的结合是必不可少的手段。

发明内容

为了适应高维度样本训练，解决由于单个计算机的内存与计算能力上限，导致的高维度海量数据样本训练检测速度慢的问题，本发明提出了一种基于分布式计算与检测代价排序的Adaboost训练学习方法及装置，以实现并行训练，且循环形成新的级联分类器，加速检测速度。

为了实现上述目的，本发明的技术要点如下：

一种基于分布式计算与检测代价排序的Adaboost训练学习方法，包括如下步骤：

步骤一.设定检测目标，根据级联分类器数量确定分发的计算机数量；

步骤二.将第二样本分发各计算机；

步骤三.分布式训练，对第一样本拆分并分发各计算机，各计算机依据分配的强分类器的计算指标分别训练强分类器，并按照强分类器的分类能力组成新的级联分类器；

步骤四.下一次分布式训练，将各个计算机的分错的第一样本汇总，对第一样本拆分并分发各计算机，各计算机依据分配的强分类器的计算指标分别训练强分类器，并按照强分类器的分类能力组成新的级联分类器；

步骤五.重复步骤四，直至新的级联分类器满足退出条件；

其中：所述的第一样本为待测试的正负样本中数量较多的样本，所述的第二样本为待测试的正负样本中数量较少的样本。

本发明还涉及一种基于分布式计算与检测代价排序的Adaboost训练学习装置，包括：

检测目标设定装置，设定检测目标，根据级联分类器数量确定分发的计算机数量；

第二样本分发装置，将第二样本分发各计算机；

第一分布式训练装置，分布式训练，对第一样本拆分并分发各计算机，各计算机依据分配的强分类器的计算指标分别训练强分类器，并按照强分类器的分类能力组成新的级联分类器；

第二分布式训练装置，下一次分布式训练，将各个计算机的分错的第一样本汇总，对第一样本拆分并分发各计算机，各计算机依据分配的强分类器的计算指标分别训练强分类器，并按照强分类器的分类能力组成新的级联分类器；

分布式训练重复训练装置，第二分布式训练装置重复训练，直至新的级联分类器满足退出条件；

其中：所述的第一样本为待测试的正负样本中数量较多的样本，所述的第二样本为待测试的正负样本中数量较少的样本。

有益效果：