[发明专利]基于语义的不完全最大匹配分词方法

摘要

本发明提供一种基于语义的不完全最大匹配分词方法，其包括以下步骤：S1、利用训练集语料T和同义词词林构建正向语义相似度词典DSim；S2、对词语进行切分，得到初始词；S3、后续词自动识别：对于待切分汉字串Sn＝w1w2......wn经过S2的切分方法得到Sh＝w1w2......wh(h≤n)后，在词典DSim中读取所有Sh的后续词集合如果有Sh的某个后续词匹配成功，即将Sh2自动识别为Sh的后续词；S4、反复执行步骤S2‑S3，最终切分完成汉字串Sn。本发明将基于规则和统计两种方法相结合，提出了基于语义的不完全最大匹配分词法，因使用三特征权值计算式解决了传统最大匹配算法词语粘连的缺陷,提高了分词的准确性。