[发明专利]利用分词过程中识别的新词改善分词性能的方法

摘要

本发明公开了一种利用分词过程中识别的新词改善分词性能的方法；包括：分词数据库的训练过程和利用分词数据库进行分词的过程。本发明无需用户事先给予新词词表，采用在分词过程中动态产生的新词作为新词词表，作为新词知识源来提高分词性能。本发明不需要用户事先提供用户词表，而是利用分词过程中动态产生的新词来改善分词的性能。

主权项

1.一种利用分词过程中识别的新词改善分词性能的方法；其特征在于，包括：分词数据库的训练步骤和利用分词数据库进行分词的步骤，所述分词数据库的训练步骤包括以下步骤：步骤1：从待切分文本中获取基本特征；步骤2：利用新词词表，获取新词特征，其中，所述新词词表包括：新词词表从训练语料中直接获取，和在分词过程中，建立动态新词词表，分词系统识别出新词后将该新词加入到新词词表中，所述新词特征通过新词词表与待分词的原始文本进行匹配得到；步骤3：利用训练得到的分词数据库进行分词，如果分词结果中有新词，将该新词加入到新词词表中，其中，新词词表作为分词知识源是通过新词特征来实现的；所述利用分词数据库进行分词的步骤包括以下步骤：步骤1：抽取分词的文本的基本特征，包括抽取一个或多个窗口的字特征；步骤2：抽取分词的文本的新词特征；步骤3：对抽取的特征进行训练，得到分词用的数据库。