[发明专利]一种建立多粒度词典的方法、分词的方法及其装置

权利要求书

1.一种建立多粒度词典的方法，包括：

A.收集原始词表；

B.从原始词表中识别出基本词及词组词，分别形成基本词表和词组词表，其中基本词是仅包含一个表意单位的词，词组词是至少包含两个表意单位的词；

C.确定与各词组词分别对应的从属词及子词组词，以将各词组词分别对应的从属词及子词组词作为与该词组词相关联的内部成分，其中从属词是与基本词表中的词相匹配的词，子词组词是由多个从属词构成、且与词组词表中的词相匹配的词；

D.将基本词及词组词存为词典词条，并将与各词组词相关联的内部成分存为对应词典词条的内部成分，得到多粒度词典。

2.根据权利要求1所述的方法，其特征在于，所述步骤C包括：

针对各词组词，根据基本词表以基于规则的分词方法对该词组词进行切分，将各切分词作为与该词组词对应的第一类从属词，并在该词组词中提取由连续的第一类从属词构成的、且与词组词表中的词相匹配的片段作为与该词组词对应的第一类子词组词。

3.根据权利要求2所述的方法，其特征在于，所述步骤C进一步包括：

针对各词组词，基于字的统计概率模型的分词方法对该词组词进行切分，从各切分词中选取置信度满足预设要求、且不同于与该词组词对应的第一类从属词的切分词作为与该词组词对应的第二类从属词，从各切分词中选取置信度满足预设要求、且不同于与该词组词对应的第一类子词组词的切分词作为与该词组词对应的第二类子词组词。

4.根据权利要求3所述的方法，其特征在于，所述步骤C进一步包括：

从与各词组词对应的第二类从属词中，过滤掉与基本词表中的词不匹配的词语，以及，从与各词组词对应的第二类子词组词中，过滤掉与词组词表中的词不匹配的词语。

5.根据权利要求2所述的方法，其特征在于，所述步骤C进一步包括：

针对各词组词，根据词语的语言学特征，将与该词组词对应的第一类从属词中的缩略词补充完整，并将补充完整的词作为与该词组词对应的第三类从属词，以及，在该词组词中提取由非连续的第一类从属词构成的、且与词组词表中的词相匹配的片段作为与该词组词对应的第三类子词组词。

6.根据权利要求5所述的方法，其特征在于，所述步骤C进一步包括：

验证各第三类从属词和该第三类从属词对应的缩略词之间的语义相似度，以及，验证各第三类子词组词和该第三类子词组词对应的词组词之间的语义相似度，将语义相似度不符合要求的第三类从属词及第三类子词组词过滤掉。

7.根据权利要求2所述的方法，其特征在于，所述步骤C进一步包括：

针对各词组词，提取与该词组词对应的第一类从属词所包含的词素，以将提取的词素作为与该词组词相关联的内部成分，其中词素是能够表达该词素所属的第一类从属词的主要含义的单字。

8.一种分词方法，包括：

G.将输入词串作为待切分词串；

H.依据权利要求1至7中任一权项所述建立多粒度词典的方法建立的多粒度词典中的词典词条，采用最大正向匹配的方法对待切分词串进行切分，并利用所述多粒度词典的词组词的内部成分消除在切分过程中存在的歧义，得到最终的分词结果。

9.根据权利要求8所述的方法，其特征在于，所述步骤H包括：

H1.依据权利要求1至7中任一权项所述建立多粒度词典的方法建立的多粒度词典中的词典词条，采用最大正向匹配的方法对待切分词串进行切分，得到首个切分词X；

H2.利用所述多粒度词典中的词组词的内部成分判断X是否存在歧义，如果是，则确定与X相关的歧义片段的正确划分，将划分结果放入分词结果并将输入词串尚未加入到分词结果的部分作为待切分词串，返回所述H1，否则将X放入分词结果并将输入词串尚未加入到分词结果的部分作为待切分词串，返回所述H1。

10.根据权利要求9所述的方法，其特征在于，判断X是否存在歧义的步骤包括：

S1.判断X在所述多粒度词典中是否存在内部成分，如果没有，则确定X不存在歧义，否则执行步骤S2；

S2.确定X的内部成分中以X的首字开始的最长词条Y，并采用与所述步骤H1相同的方法对待切分词串除Y以外部分进行切分，得到首个切分词Z，判断Y与Z的长度之和是否小于或等于X，如果是，则确定X没有歧义，否则确定X存在歧义。