[发明专利]中文分词方法及装置

摘要

本发明实施例提供一种中文分词方法和装置，该方法包括：S1、获取待分词M语句；S2、将M语句中第i个预设长度子句组成第一字符串与训练语料库精确匹配，若成功，获取分词结果进入S3，若失败，进入S4，i初始值为1；S3、将第二字符串作精确匹配，第二字符串是在第一字符串尾部加入排序靠后的j个字符得到的，j初始值为1，若失败，将i值增加预设长度进入S2，若成功，获取分词结果，将j值增加1重复S3；S4、将第一字符串作模糊匹配，获取分词结果，将i值增加预设长度进入S2；S5、若S2至S4任一执行后，M语句中所有字符对应子句均获取到分词结果，终止匹配并合并所有的分词结果。该方法可利用有限语料库进行中文分词。

主权项

1.一种中文分词方法，其特征在于，包括：S1、获取待进行中文分词的M语句；S2、将第一字符串与训练语料库进行精确匹配，所述第一字符串是所述M语句中第i个预设长度的子句，若匹配成功，获取所述精确匹配的分词结果，进入步骤S3，若匹配失败，进入步骤S4；其中，i的初始值为1，所述精确匹配是指所述第一字符串与所述训练语料库中的字符串完全一致；S3、将第二字符串与所述训练语料库进行精确匹配，所述第二字符串是指在所述第一字符串的尾部，加入与所述第一字符串的末尾字符相邻、且排序靠后的j个字符而得到的字符串；其中，j的初始值为1，若匹配失败，将i的值增加所述预设长度，进入步骤S2；若匹配成功，获取所述精确匹配的分词结果，将j的值增加1，重复步骤S3；S4、将所述第一字符串与训练语料库进行模糊匹配，获取所述模糊匹配的分词结果，然后，将所述i的值增加所述预设长度，进入步骤S2；其中，所述模糊匹配是指，所述第一字符串与所述训练语料库中的字符串的字符重叠率大于预设的阈值；S5、若所述S2至S4中任一执行完毕之后，所述M语句中的所有字符所在的子句均已获取到对应的分词结果，则终止所述S2至S4，并将所述精确匹配的分词结果和所述模糊匹配的分词结果进行合并。