[发明专利]分词、韵律短语和多字手写识别方法及装置

说明书

技术领域

本发明涉及一种模式识别技术，特别是涉及一种分词方法及装置、一种韵律短语的识别方法及装置和一种多字手写识别方法及装置。

背景技术

由于中文文本是按句连写的，词间无间隙，在中文文本处理中的首要问题是词的切分，即分词的问题，中文分词是信息检索、文本校对、文本的语音输入输出和自动标注等中文信息处理领域的重要基础。

最大熵模型(maximum entropy model)是一种随机概率模型，最大熵模型的基本原理是，当需要对一个随机事件的概率分布进行预测时，预测应当满足全部已知的条件，而对未知的情况不做任何主观假设，因为在遇到不确定性时需要保留各种可能性。在这种情况下，概率分布最均匀，预测的风险最小。因为这时概率分布的信息熵最大，所以称这种模型叫“最大熵模型”。

在对句子分词时，提取句子中多个字符组成的特征(例如，前一个字符和后一个字符的组合)输入最大熵模型，得出各个字符作为分词的词首、词中和词末的概率，然后进一步按照概率将句子划分为多个词。

将该方案应用在嵌入式平台时，由于嵌入式平台存储资源有限，采用最大熵模型进行分词时，一般会对最大熵模型进行特征裁剪。

常用的特征裁剪方法是基于特征频数的裁剪方法，即某个特征出现的次数小于预设值时，将该特征裁掉，主要依据是该特征出现次数少，从而不重要或为噪音数据。

但在实际中，出现次数多的特征并不一定是重要的特征。例如，“中”字出现的频率较高，不会被裁剪掉，但实际“中”字既可以作为词首，也可以作为词中或词末，因此，对“中”字进行分词时，很可能出现分词错误。

发明内容

本发明所要解决的技术问题是提供一种分词方法，用以提高分词的准确率。

相应的，本发明还提供了分词装置，用以保证上述方法在实际中的实现及应用。

本发明还提供了一种韵律短语的识别方法及装置，和一种多字手写识别方法及装置。

为了解决上述问题，本发明公开了一种分词方法，包括：

依据训练样本的各个特征训练第一最大熵模型，所述特征包括所述待解析句子中前后多个字符的组合；

分别统计各个特征在第一最大熵模型中对各类预测结果的区分度；

去除区分度小于预设阀值的特征，并依据剩下的特征训练第二最大熵模型；

依据所述第二最大熵模型将待解析的句子拆分为多个词。

优选地，所述统计第一最大熵模型中各个特征对各类预测结果的区分度的步骤包括：

针对各个特征，在第一最大熵模型中提取对各类预测结果的分类权重；

按照特征对各类预测结果的分类权重，计算特征对各类预测结果的区分度。

优选地，所述依据第二最大熵模型将待解析的句子拆分为多个词的步骤包括：

按照预置的多个特征提取待解析句子的特征值；

将待解析句子的特征值输入第二最大熵模型进行预测，预测结果为所述待解析句子中各个字符为词首、词中或词末；

按照预测结果中确定的各个字符为词首、词中或词末，将待解析的句子拆分为多个词。

本发明还提供了一种韵律短语的识别方法，包括：

依据训练样本的各个特征训练第一最大熵模型，所述特征包括前一词的词性和/或词长，以及后一词的词性和/或词长；

分别统计各个特征在第一最大熵模型中对各类预测结果的区分度；

去除区分度小于预设阀值的特征，并依据剩下的特征训练第二最大熵模型；

依据所述第二最大熵模型将待解析的句子拆分为韵律短语。

优选地，所述依据第二最大熵模型将待解析的句子拆分为韵律短语的步骤包括：

按照预置的多个特征提取待解析句子的特征值；

将待解析句子的特征值输入第二最大熵模型进行预测，预测结果为所述待解析句子的词与词之间是否为韵律短语边界；

按照预测结果中确定的词与词之间是否为韵律短语边界，将待解析的句子拆分为多个韵律短语。

本发明还提供了一种多字手写识别方法，包括：

依据训练样本的各个特征训练第一最大熵模型，所述特征包括以叠字连续输入的字符笔迹的笔迹特征，或以行连续输入的字符笔迹的笔迹特征；

分别统计各个特征在第一最大熵模型中对各类预测结果的区分度；

去除区分度小于预设阀值的特征，并依据剩下的特征训练第二最大熵模型；

依据所述第二最大熵模型对连续输入的字符笔迹进行切割，得到多字切割结果；