[发明专利]一种用于小语种文本识别的方法、识别系统及存储介质

权利要求书

1.一种用于小语种文本识别的方法，其特征在于：包括以下步骤：

S1.构建来源于不同语种的训练文本集，令来源于其中一种语种的文本为正样本，来源于其余的语种的文本为负样本；

S2.对训练文本集中的文本进行基于字节的N-gram rank特征的提取；

S3.对训练文本集中的文本进行基于互信息的度量特征的提取，即计算文本中的所有信息字节在单个语种中的信息度量；

S4.对训练文本集中的文本进行基于转移概率的概率特征的提取，即计算文本中所有相邻字节能在单个语种中表达完整信息的概率；

S5.利用步骤S2～S4提取的特征训练分类器；

S6.对待识别的文本按照步骤S2～S4进行特征的提取，然后将提取的特征输入分类器中进行识别，分类器输出语种识别结果。

2.根据权利要求1所述的用于小语种文本识别的方法，其特征在于：所述步骤S2中，进行基于字节的N-gram rank特征的提取的具体步骤如下：

S21.设文本S包括字节B_lB₂B₃…B_n，对字节B_lB₂B₃…B_n分别进行基于1-Gram、Bi-Gram、Tri-Gram的字节级分词处理；

S22.对字节B_lB₂B₃…B_n分词后的结果进行统计计数，将各计数按照从大到小进行排序，排名最前的编号为1，并记rank为1；随后的编号为2，并记rank为2；依此向下编号；

S23.计算文本S的排名特征：

F_{N-gram rank}(S)＝rank(B₁)+rank(B₂)+rank(B₃)+…+rank(B_n)

其中，N＝1,2,3，分别对应于1-Gram、Bi-Gram和Tri-Gram，则文本最后得到3个特征：F_{1-gram rank}(S)、F_{2-gram rank}(S)、F_{3-gram rank}(S)。

3.根据权利要求2所述的用于小语种文本识别的方法，其特征在于：所述步骤S3进行基于互信息的度量特征的提取的具体步骤如下：

令B_iB_i+l为相邻的两个分词字节，则度量特征的计算过程如下：

S31.计算p(B_i)＝c(B_i)/N，p(B_i+l)＝c(B_i+l)/N，p(B_iB_i+l)＝c(B_iB_i+l)/N；其中N为总的分词字节次数，c(B_i)为B_i在文本中单独出现的次数，p(B_i)为分词字节B_i在文本中单独出现的概率；

p(B_iB_i+l)为B_iB_i+l在文本中同时出现的概率，c(B_iB_i+l)为B_iB_i+l同时出现的次数；

S32.计算相邻字节B_iB_i+l的互信息：

S33.计算文本的互信息；

I(S)＝I(begin,B₁)+I(B₁,B₂)+I(B₂,B₃)+…+I(B_n-1,B_n)；

其中，begin表示之后的字符是全句或全文章的首字符，之前无其它字符。