[发明专利]一种分词的方法及装置

说明书

【技术领域】

本发明涉及自然语言处理技术，特别涉及一种分词的方法及装置。

【背景技术】

分词是自然语言处理的基础技术之一，是搜索引擎应用中非常关键的一步。在现有技术中，通常有两种分词方法，一种是基于字符串匹配的分词，一种是基于统计模型的分词。

基于字符串匹配的分词方法包括：正向最大匹配法、逆向最大匹配法、双向最大匹配法等。基于字符串匹配的分词方法依赖机器词典，其特点是分词时的效率较高，但是歧义的解决能力较低，分词结果准确性较差。

基于统计模型的分词方法包括：条件随机场模型、隐马尔科夫模型等。基于统计模型的分词方法利用统计机器学习模型学习词语切分的规律(称为训练)，从而实现对未知文本的切分，其特点是可以充分利用构词法的特征，并且能够考虑全局优化信息，因此在歧义切分效果上较好，但是由于不依据机器词典，仅仅依据训练语料的信息，分词结果在粒度和一致性上都不够稳定，并且切分的效率较低，特别是待切分词串的长度越长，切分效率降低得越快。

【发明内容】

本发明所要解决的技术问题是提供一种分词的方法及装置，以解决现有技术中单一的分词方法所带来的分词结果准确性差或分词结果不稳定的技术缺陷。

本发明为解决技术问题而采用的技术方案是提供一种分词的方法，包括：A.将输入词串作为待切分词串；B.以最大正向匹配的方法对待切分词串进行切分，并使用条件随机场的方法对待切分词串中以最大正向匹配的方法进行切分时存在歧义的片段进行矫正，以得到分词结果。

根据本发明之一优选实施例，所述步骤B包括：B1.采用最大正向匹配的方法确定待切分词串中的首个切分词X；B2.判断X是否存在歧义，如果是，则执行步骤B3，否则执行步骤B4；B3.确定待切分词串中与X相关的歧义片段，并对所述歧义片段采用条件随机场的方法进行切分，得到所述歧义片段的各个切分词，根据所述歧义片段的各切分词确定所述歧义片段除最后一个切分词以外部分的最终划分，将所述最终划分加入分词结果，并将所述输入词串中尚未加入到分词结果的部分作为待切分词串，返回步骤B1；B4.将X加入分词结果，并将所述输入词串中尚未加入到分词结果的部分作为待切分词串，返回步骤B1。

根据本发明之一优选实施例，判断X是否存在歧义的步骤包括：采用最大正向匹配的方法对X进行切分，确定首个切分词Y；采用最大正向匹配的方法对待切分词串除Y以外的部分进行切分，确定首个切分词Z；判断Y与Z的长度之和是否大于X，如果是，则确定X存在歧义，执行步骤B3，否则确定X没有歧义，执行步骤B4。

根据本发明之一优选实施例，确定待切分词串中与X相关的歧义片段的步骤包括：采用最大正向匹配的方法对待切分词串除X以外的部分进行切分，确定首个切分词K；确定X与K的长度之和，以及，Y与Z的长度之和中的较大值，将较大值对应的片段作为与X相关的歧义片段。

根据本发明之一优选实施例，根据所述歧义片段的各切分词确定所述歧义片段除最后一个切分词以外部分的最终划分的步骤包括：判断所述歧义片段除最后一个切分词以外的各切分词是否与采用最大正向匹配方法时使用的机器词典中的词匹配，如果是，则将该切分词作为最终划分，否则采用最大正向匹配方法对该切分词进行切分，将切分结果作为该切分词的最终划分。

本发明还提供了一种分词的装置，包括：接收单元，用于将输入词串作为待切分词串；切分矫正单元，用于以最大正向匹配的方法对待切分词串进行切分，并使用条件随机场的方法对待切分词串中以最大正向匹配的方法切分时存在歧义的片段进行矫正，以得到分词结果。

根据本发明之一优选实施例，所述切分矫正单元包括：第一切分单元，用于采用最大正向匹配的方法确定待切分词串中的首个切分词X；判断单元，用于判断X是否存在歧义，如果是，则触发片段确定单元运行，否则触发第一添加单元运行；第一添加单元，用于将X加入分词结果，并将所述输入词串中尚未加入到分词结果的部分作为待切分词串，触发所述第一切分单元运行；片段确定单元，用于确定待切分词串中与X相关的歧义片段；第二切分单元，用于对所述歧义片段采用条件随机场的方法进行切分，得到所述歧义片段的各个切分词；验证单元，用于根据所述歧义片段的各切分词确定所述歧义片段除最后一个切分词以外部分的最终划分；第二添加单元，用于将所述最终划分加入分词结果，并将所述输入词串中尚未加入到分词结果的部分作为待切分词串，触发所述第一切分单元运行。