[发明专利]一种建立多粒度词典的方法、分词的方法及其装置

说明书

【技术领域】

本发明涉及自然语言处理技术，特别涉及一种建立多粒度词典的方法、分词的方法及其装置。

【背景技术】

分词在自然语言处理相关的应用中非常重要，分词的结果将直接影响到具体应用的效果。不同的应用，对分词粒度有不同的要求，例如机器翻译的应用，为了使翻译的结果准确，最好以大粒度分词，这样能够将人名、地名、机构名等固有名词识别出来，提高翻译的准确度，而对于语音识别的应用来说，小粒度分词就可以满足需求。此外，对搜索引擎而言，以小粒度词语建立索引库，可以提高搜索引擎的召回率，同时以大粒度方式对用户的查询进行切分，能够减少搜索引擎查询的次数，提高效率。可见，不同的应用对分词粒度的需求不同，而分词粒度取决于分词时使用的词典。以往，根据不同应用的需要，可以分别人工整理出各个粒度下的词典作为分词的依据，但是人工得到的词典很难保证粒度的一致性，从而影响到具体应用的效果。

另一方面，分词过程中还存在一定的歧义现象。歧义指的是在分词过程中存在多种切分选择的情况，如“新华医疗器械”既可以切分为“新华医疗/器械”，也可以切分为“新华/医疗器械”，在分词过程中如果出现歧义，现有技术中单一粒度的词典难以为消除歧义提供依据。

【发明内容】

本发明所要解决的技术问题是提供一种建立多粒度词典的方法及装置、一种分词的方法及装置，以实现为各种与分词相关的应用建立统一的分词词典，以及对分词过程中存在的歧义进行消解的目的。

本发明为解决技术问题而采用的技术方案是提供一种建立多粒度词典的方法，包括：A.收集原始词表；B.从原始词表中识别出基本词及词组词，分别形成基本词表和词组词表，其中基本词是仅包含一个表意单位的词，词组词是至少包含两个表意单位的词；C.确定与各词组词分别对应的从属词及子词组词，以将各词组词分别对应的从属词及子词组词作为与该词组词相关联的内部成分，其中从属词是与基本词表中的词相匹配的词，子词组词是由多个从属词构成、且与词组词表中的词相匹配的词；D.将基本词及词组词存为词典词条，并将与各词组词相关联的内部成分存为对应词典词条的内部成分，得到多粒度词典。

根据本发明之一优选实施例，所述步骤C包括：针对各词组词，根据基本词表以基于规则的分词方法对该词组词进行切分，将各切分词作为与该词组词对应的第一类从属词，并在该词组词中提取由连续的第一类从属词构成的、且与词组词表中的词相匹配的片段作为与该词组词对应的第一类子词组词。

根据本发明之一优选实施例，所述步骤C进一步包括：针对各词组词，基于字的统计概率模型的分词方法对该词组词进行切分，从各切分词中选取置信度满足预设要求、且不同于与该词组词对应的第一类从属词的切分词作为与该词组词对应的第二类从属词，从各切分词中选取置信度满足预设要求、且不同于与该词组词对应的第一类子词组词的切分词作为与该词组词对应的第二类子词组词。

根据本发明之一优选实施例，所述步骤C进一步包括：从与各词组词对应的第二类从属词中，过滤掉与基本词表中的词不匹配的词语，以及，从与各词组词对应的第二类子词组词中，过滤掉与词组词表中的词不匹配的词语。

根据本发明之一优选实施例，所述步骤C进一步包括：针对各词组词，根据词语的语言学特征，将与该词组词对应的第一类从属词中的缩略词补充完整，并将补充完整的词作为与该词组词对应的第三类从属词，以及，在该词组词中提取由非连续的第一类从属词构成的、且与词组词表中的词相匹配的片段作为与该词组词对应的第三类子词组词。

根据本发明之一优选实施例，所述步骤C进一步包括：验证各第三类从属词和该第三类从属词对应的缩略词之间的语义相似度，以及，验证各第三类子词组词和该第三类子词组词对应的词组词之间的语义相似度，将语义相似度不符合要求的第三类从属词及第三类子词组词过滤掉。

根据本发明之一优选实施例，所述步骤C进一步包括：针对各词组词，提取与该词组词对应的第一类从属词所包含的词素，以将提取的词素作为与该词组词相关联的内部成分，其中词素是能够表达该词素所属的第一类从属词的主要含义的单字。

本发明还提供了一种分词方法，包括：G.将输入词串作为待切分词串；H.依据前文所述建立多粒度词典的方法建立的多粒度词典中的词典词条，采用最大正向匹配的方法对待切分词串进行切分，并利用所述多粒度词典的词组词的内部成分消除在切分过程中存在的歧义，得到最终的分词结果。