[发明专利]分类器训练方法及其系统

权利要求书

1.一种分类器训练方法，其特征在于，包括以下步骤：

获取有类别标记的训练样本集；

确定分类器的准则函数；

根据所述训练样本集，采用随机梯度下降法对所述准则函数运行n1次迭代，获取所述准则函数的初步权重，其中，n1等于所述训练样本集的样本个数；

在所述初步权重的基础上，采用有限内存BFGS方法继续对所述准则函数运行若干次迭代直到收敛，获取所述准则函数的最终权重；

根据所述最终权重获取线性判别函数，建立分类器。

2.如权利要求1所述的分类器训练方法，其特征在于，进一步包括对输入所述分类器的待处理样本进行分类的步骤，具体包括：

根据输入分类器的待处理样本，计算所述线性判别函数的取值；

如果所述取值大于零，则将所述待处理样本划分为正类；如果所述取值小于零，则将所述待处理样本划分为负类。

3.如权利要求1所述的分类器训练方法，其特征在于，采用随机梯度下降法对所述准则函数运行n1次迭代，获得所述准则函数的初步权重的步骤包括：

设定所述准则函数的第一权重；

根据所述第一权重对所述准则函数进行迭代，根据所述样本集中随机选取的一个样本，求取所述准则函数的一阶导数；

根据所述一阶导数以及预先设定的学习率，设定下一次迭代的第一权重，重新对所述准则函数进行迭代，直到所述迭代的次数等于n1时，获取对应的所述第一权重作为所述初步权重。

4.如权利要求1至3任一项所述的分类器训练方法，其特征在于，在所述初步权重的基础上，采用有限内存BFGS方法继续对所述准则函数运行若干次迭代直到收敛，获取所述准则函数的最终权重的步骤包括：

设定所述准则函数的第二权重、对应的下降方向以及hessian矩阵；其中，所述第二权重的初始值等于所述初步权重；

根据所述第二权重对所述准则函数进行迭代，根据所述样本集中的所有样本，求取所述准则函数的一阶导数；

判断所述一阶导数是否小于预设的收敛阈值；

如果小于所述预设的收敛阈值，则获取此次迭代中所述准则函数的第二权重作为最终权重；

否则，根据所述准则函数的一阶导数修改所述下降方向以及hessian矩阵，根据修改后的所述下降方向、hessian矩阵以及预设的学习率计算下一次迭代的第二权重，根据下一次迭代的第二权重以及所述样本集重新计算所述准则函数的一阶导数，直到所述准则函数的一阶导数小于所述预设的收敛阈值。

5.一种分类器训练系统，其特征在于，包括：

样本模块，用于获取有类别标记的训练样本集；

分类器定义模块，用于确定分类器的准则函数；

随机学习模块，用于根据所述训练样本集，采用随机梯度下降法对所述准则函数运行n1次迭代，获取所述准则函数的初步权重，其中，n1等于所述训练样本集的样本个数；

批量学习模块，用于在所述初步权重的基础上，采用有限内存BFGS方法继续对所述准则函数运行若干次迭代直到收敛，获取所述准则函数的最终权重；

分类器模块，用于根据所述最终权重获取线性判别函数，建立分类器。

6.如权利要求5所述的分类器训练系统，其特征在于，进一步包括分类模块，所述分类模块用于根据输入分类器的待处理样本，计算所述线性判别函数的取值；如果所述取值大于零，则将所述待处理样本划分为正类；如果所述取值小于零，则将所述待处理样本划分为负类。

7.如权利要求5所述的分类器训练系统，其特征在于，所述随机学习模块包括：

第一初始化模块，用于设定所述准则函数的第一权重；

随机迭代模块，用于根据所述第一权重对所述准则函数进行迭代，根据所述样本集中随机选取的一个样本，求取所述准则函数的一阶导数；

初步权重获取模块，用于根据所述一阶导数以及预先设定的学习率，设定下一次迭代的第一权重，重新对所述准则函数进行迭代，直到所述迭代的次数等于n1时，获取对应的所述第一权重作为所述初步权重。

8.如权利要求5至7任一项所述的分类器训练系统，其特征在于，所述批量学习模块包括：

第二初始化模块，用于设定所述准则函数的第二权重、对应的下降方向以及hessian矩阵；其中，所述第二权重的初始值等于所述初步权重；

批量迭代模块，用于根据所述第二权重对所述准则函数进行迭代，根据所述样本集中的所有样本，求取所述准则函数的一阶导数；

判断模块，用于判断所述一阶导数是否小于预设的收敛阈值；

最终权重获取模块，用于在所述一阶导数小于所述预设的收敛阈值时，获取此次迭代中所述准则函数的第二权重作为最终权重；否则，根据所述准则函数的一阶导数修改所述下降方向以及hessian矩阵，根据修改后的所述下降方向、hessian矩阵以及预设的学习率计算下一次迭代的第二权重，根据下一次迭代的第二权重以及所述样本集重新计算所述准则函数的一阶导数，直到所述准则函数的一阶导数小于所述预设的收敛阈值。