[发明专利]语言文本的分词方法和系统

摘要

本发明实施例提供一种语言文本的分词方法和系统，该方法包括：获取待处理的第一语言文本和可信度阈值；采用第一分词方式，对第一语言文本进行分词，得到第一词边界集合；根据可信度阈值，将第一词边界集合划分成可信的第二词边界集合和不可信的第三词边界集合；根据第三词边界集合，从第一语言文本中选取第二语言文本，第二语言文本包括第三词边界集合中的每个词边界对应的词；采用第二分词方式，对第二语言文本进行分词，得到第四词边界集合；将第二词边界集合和第四词边界集合确定为第一语言文本的分词结果。通过调整可信度阈值的大小，能够灵活调整第一语言文本所需的分词精度，从而能够适应对分词精度有不同要求的多种应用场景。

主权项

一种语言文本的分词方法，其特征在于，包括：获取待处理的第一语言文本和可信度阈值，所述可信度阈值用于指示所述第一语言文本所需的分词精度、分词速度或分词一致性；采用第一分词方式，对所述第一语言文本进行分词，得到第一词边界集合；根据所述可信度阈值，将所述第一词边界集合划分成可信的第二词边界集合和不可信的第三词边界集合；根据所述第三词边界集合，从所述第一语言文本中选取第二语言文本，所述第二语言文本包括所述第三词边界集合中的每个词边界对应的词；采用第二分词方式，对所述第二语言文本进行分词，得到第四词边界集合，其中，所述第二分词方式的分词精度高于所述第一分词方式的分词精度；将所述第二词边界集合和所述第四词边界集合确定为所述第一语言文本的分词结果。