[发明专利]字符串的分词方法、装置及设备

权利要求书

1.一种字符串的分词方法，其特征在于，包括：

获取待分割的字符串的正向分割结果，所述正向分割结果包括至少一个第一单词；

获取所述待分割的字符串的反向分割结果，所述反向分割结果包括至少一个第二单词；

获取各所述第一单词的词频和各所述第二单词的词频，所述词频为预先确定的各单词在预设文本中出现的次数；

根据各所述第一单词的词频以及各所述第二单词的词频，确定所述待分割的字符串的分割结果，其中，所述待分割的字符串的分割结果为所述正向分割结果或所述反向分割结果。

2.根据权利要求1所述的方法，其特征在于，所述获取待分割的字符串的正向分割结果，包括：

对所述待分割的字符串进行正向分割的操作，判断是否获取到第一单词；

若是，将除去所述第一单词的待分割的字符串作为新的待分割的字符串，并返回执行对待分割的字符串进行正向分割的操作；

若否，对所述待分割的字符串的正向的首字符进行删除处理，得到处理后的待分割的字符串，将处理后的待分割的字符串作为新的待分割的字符串，并返回执行对待分割的字符串进行正向分割的操作；

重复执行对所述待分割的字符串进行正向分割的操作，直至对所述待分割的字符串分割结束，得到正向分割结果。

3.根据权利要求1所述的方法，其特征在于，所述获取待分割的字符串反向分割结果，包括：

对所述待分割的字符串进行反向分割的操作，判断是否获取到第二单词；

若是，将除去所述第二单词的待分割的字符串作为新的待分割的字符串，并返回执行对待分割的字符串进行反向分割的操作；

若否，对所述待分割的字符串的反向的首字符进行删除处理，得到处理后的待分割的字符串，将处理后的待分割的字符串作为新的待分割的字符串，并返回执行对待分割的字符串进行反向分割的操作；

重复执行对所述待分割的字符串进行正向分割的操作，直至对所述待分割的字符串分割结束，得到反向分割结果。

4.根据权利要求1至3任一项所述的方法，其特征在于，还包括：

获取待分割的文本，对所述待分割的文本进行符号删除操作，得到所述待分割的字符串。

5.根据权利要求2或3所述的方法，其特征在于，还包括：

构建正向字典树和反向字典树；

所述对所述待分割的字符串进行正向分割的操作，包括：

根据所述正向字典树，对所述待分割的字符串进行正向分割的操作；

所述对所述待分割的字符串进行反向分割的操作，包括：

根据所述反向字典树，对所述待分割的字符串进行反向分割的操作。

6.根据权利要求5所述的方法，其特征在于，所述正向字典树的每个第一节点中存储有所述第一节点对应的单词的词频，所述反向字典树的每个第二节点中存储有所述第二节点对应的单词的词频；

所述获取各所述第一单词的词频和各所述第二单词的词频，包括：

从所述第一单词对应的第一节点中获取所述第一单词的词频；

从所述第二单词对应的第二节点中获取所述第二单词的词频。

7.根据权利要求6所述的方法，其特征在于，所述构建正向字典树和反向字典树之前，还包括：

构建语料库，所述语料库包括单词库和所述单词库中的单词的词频；

所述构建正向字典树和反向字典树，包括：

根据所述语料库，构建正向字典树和反向字典树，并将各单词的词频存储至对应的第一节点和第二节点。

8.根据权利要求7所述的方法，其特征在于，所述预设文本包括：满足预设使用条件的文本以及待分割的文本；所述构建语料库，包括：

根据满足预设使用条件的词典，得到单词库；

确定所述单词库中的单词在所述满足预设使用条件的文本以及所述待分割的文本中出现的次数；

根据所述单词库、所述单词库中的单词在所述满足预设使用条件的文本以及所述待分割的文本中出现的次数，构建所述语料库。