[发明专利]一种分词的方法及装置

权利要求书

1.一种分词的方法，包括：

A.将输入词串作为待切分词串；

B.以最大正向匹配的方法对待切分词串进行切分，并使用条件随机场的方法对待切分词串中以最大正向匹配的方法进行切分时存在歧义的片段进行矫正，以得到分词结果。

2.根据权利要求1所述的方法，其特征在于，所述步骤B包括：

B1.采用最大正向匹配的方法确定待切分词串中的首个切分词X；

B2.判断X是否存在歧义，如果是，则执行步骤B3，否则执行步骤B4；

B3.确定待切分词串中与X相关的歧义片段，并对所述歧义片段采用条件随机场的方法进行切分，得到所述歧义片段的各个切分词，根据所述歧义片段的各切分词确定所述歧义片段除最后一个切分词以外部分的最终划分，将所述最终划分加入分词结果，并将所述输入词串中尚未加入到分词结果的部分作为待切分词串，返回步骤B1；

B4.将X加入分词结果，并将所述输入词串中尚未加入到分词结果的部分作为待切分词串，返回步骤B1。

3.根据权利要求2所述的方法，其特征在于，判断X是否存在歧义的步骤包括：

采用最大正向匹配的方法对X进行切分，确定首个切分词Y；

采用最大正向匹配的方法对待切分词串除Y以外的部分进行切分，确定首个切分词Z；

判断Y与Z的长度之和是否大于X，如果是，则确定X存在歧义，执行步骤B3，否则确定X没有歧义，执行步骤B4。

4.根据权利要求3所述的方法，其特征在于，确定待切分词串中与X相关的歧义片段的步骤包括：

采用最大正向匹配的方法对待切分词串除X以外的部分进行切分，确定首个切分词K；

确定X与K的长度之和，以及，Y与Z的长度之和中的较大值，将较大值对应的片段作为与X相关的歧义片段。

5.根据权利要求2所述的方法，其特征在于，根据所述歧义片段的各切分词确定所述歧义片段除最后一个切分词以外部分的最终划分的步骤包括：

判断所述歧义片段除最后一个切分词以外的各切分词是否与采用最大正向匹配方法时使用的机器词典中的词匹配，如果是，则将该切分词作为最终划分，否则采用最大正向匹配方法对该切分词进行切分，将切分结果作为该切分词的最终划分。

6.一种分词的装置，其特征在于，所述装置包括：

接收单元，用于将输入词串作为待切分词串；

切分矫正单元，用于以最大正向匹配的方法对待切分词串进行切分，并使用条件随机场的方法对待切分词串中以最大正向匹配的方法切分时存在歧义的片段进行矫正，以得到分词结果。

7.根据权利要求6所述的装置，其特征在于，所述切分矫正单元包括：

第一切分单元，用于采用最大正向匹配的方法确定待切分词串中的首个切分词X；

判断单元，用于判断X是否存在歧义，如果是，则触发片段确定单元运行，否则触发第一添加单元运行；

第一添加单元，用于将X加入分词结果，并将所述输入词串中尚未加入到分词结果的部分作为待切分词串，触发所述第一切分单元运行；

片段确定单元，用于确定待切分词串中与X相关的歧义片段；

第二切分单元，用于对所述歧义片段采用条件随机场的方法进行切分，得到所述歧义片段的各个切分词；

验证单元，用于根据所述歧义片段的各切分词确定所述歧义片段除最后一个切分词以外部分的最终划分；

第二添加单元，用于将所述最终划分加入分词结果，并将所述输入词串中尚未加入到分词结果的部分作为待切分词串，触发所述第一切分单元运行。

8.根据权利要求7所述的装置，其特征在于，所述判断单元包括：

第一子切分单元，用于采用最大正向匹配的方法对X进行切分，确定首个切分词Y；

第二子切分单元，用于采用最大正向匹配的方法对待切分词串除Y以外的部分进行切分，确定首个切分词Z；

歧义确定单元，用于判断Y与Z的长度之和是否大于X，如果是，则确定X存在歧义，触发所述片段确定单元运行，否则确定X没有歧义，触发所述第一添加单元运行。