[发明专利]一种基于集成学习的语种识别方法

摘要

本发明涉及一种基于集成学习的语种识别方法，属于自然语言处理应用技术领域；本发明方法首先从训练集D中按照预设的抽取比例参数max_samples选取bootstrap样例得到训练集D_b；其次基于D_b按照特征选取比例参数max_features选取样例特征，并基于选取的特征对D_b进行过滤得到训练集D_t；再者基于D_t对多项式朴素贝叶斯(MNBBL)、随机森林(RFBL)、支持向量机(SVMBL)和线性模型(LMBL)四种基本分类器进行训练；最后利用多数表决把四种基本分类器组合成为一个更强的分类器；接下来就可以采用此分类器对待识别样例进行识别。对比现有技术，本发明方法可以识别少数民族的短文本语言，且准确率得到了提高。

主权项

一种基于集成学习的语种识别方法，其特征在于，包括以下步骤：步骤1，基于训练数据集D对多项式朴素贝叶斯(MNBBL)、随机森林(RFBL)、支持向量机(SVMBL)和线性模型(LMBL)四种基本分类器通过以下过程进行训练：(1)t＝1；(2)从训练数据集D＝{(x₁，y₁)，(x₂，y₂)，…，(x_n，y_n)}中按照预设的抽取比例参数max‑samples选取bootstrap样例作为训练集D_b，其中，D中包含n个已标注类别的实例(x_i，y_i)，每个实例x_i＝[x_i1，x_i2，…，x_id]^T是一个包含d个特征的向量，y_i是x_i所属的类别，i∈[1，n]，y_i∈Y，Y＝{1,2,…q}，q表示样例所属的类别的个数；(3)基于训练集D_b，按照预设的特征选取比例参数max‑features选取样例特征，并基于选取的特征进行特征过滤，得到特征过滤后的训练集D_t；(4)基于D_t对多项式朴素贝叶斯(MNBBL)、随机森林(RFBL)、支持向量机(SVMBL)和线性模型(LMBL)四种基本分类器进行训练，得到各基本分类器的第t个分类器，表示为如下形式：M_t＝MNB(D_t)；R_t＝RF(D_t)；S_t＝SVM(D_t)；L_t＝LM(D_t)；其中，M_t表示第t个MNBBL分类器，R_t表示第t个RFBL分类器，S_t表示第t个SVMBL分类器，L_t表示第t个LMBL分类器；(5)t＝t+1；如果t≤T，转到(2)；其中，T为预设的训练次数；步骤2，使用步骤1训练好的四种基本分类器通过以下过程对待识别样例x进行识别得到对应于四种分类器的x的预测类别：(1)根据第t个分类器选取的特征对x进行特征过滤得到过滤后的待识别样例x_t，t∈[1，T]；(2)使用四种基本分类器的第t个分类器对x_t进行识别得到识别结果M_t(x_t)、R_t(x_t)、S_t(x_t)和L_t(x_t)；(3)对四种基本分类器采用简单投票规则得到对应基本分类器x的预测类别y_m、y_r、y₈和y_i，数学表述如下：$y_m={\mathrm{argmax}}_{y\∈Y}{\mathrm{\Σ}}_{t=1}^{T}l(y=M_t(x_t\left)\right);$$y_r={\mathrm{argmax}}_{y\∈Y}{\mathrm{\Σ}}_{t=1}^{T}l(y=R_t(x_t\left)\right);$$y_s={\mathrm{argmax}}_{y\∈Y}{\mathrm{\Σ}}_{t=1}^{T}l(y=S_t(x_t\left)\right);$$y_l={\mathrm{argmax}}_{y\∈Y}{\mathrm{\Σ}}_{t=1}^{T}l(y=L_t(x_t\left)\right);$其中，$l(a=b)=\left\{\begin{array}{cc}0& a!=b\\ 1& a=b\end{array}\right.;$步骤3，利用整合策略把四种基本分类器组合成为一个更强的分类器。