[发明专利]一种文本信息的处理方法及装置

权利要求书

1.一种文本信息的处理方法，其特征在于，所述方法包括：

对目标文本由预设固定分词策略进行分词，并比较所述分词结果和预设分词列表得到新词；

将所述新词添加到所述预设分词列表中，得到测试分词列表；

根据所述预设分词列表对测试文本进行分类，得到第一文本，根据所述测试分词列表对所述测试文本进行分类，得到第二文本；

比较所述第一文本的分类准确率和所述第二文本的分类准确率，根据比较结果从所述新词中确定目标新词；

将所述目标新词添加到所述预设分词列表中，得到目标预设分词列表，根据所述目标预设分词列表对所述目标文本进行分类。

2.如权利要求1所述的方法，其特征在于，所述比较所述第一文本的分类准确率和所述第二文本的分类准确率，根据比较结果从所述新词中确定目标新词包括：

对每个新词分别计算所述每个新词对应的第一文本的分类准确率和所述每个新词对应的第二文本的分类准确率；

判断所述每个新词的第二文本的分类准确率与所述每个新词的第一文本的分类准确率之差是否满足预设差值，若是，将所述新词确定为所述目标新词。

3.如权利要求1所述的方法，其特征在于，所述对目标文本由预设固定分词策略进行分词，并比较所述分词结果和预设分词列表得到新词包括：

判断所述分词结果中的词是否与所述预设分词列表中的词匹配，若不匹配，统计所述不匹配的词的特征值，所述特征值包括所述不匹配的词在所述目标文本中出现的频率；

若所述不匹配的词的特征值满足预设特征值，则将所述不匹配的词确定为所述新词。

4.如权利要求1所述的方法，其特征在于，所述对目标文本由预设固定分词策略进行分词包括：

对所述目标文本从第1个字开始，每N个字进行截取，得到多个词串，每个词串的字数为N，N为大于1的正整数。

5.如权利要求1～4任一所述的方法，其特征在于，所述根据所述预设分词列表对测试文本进行分类，得到第一文本，根据所述测试分词列表对所述测试文本进行分类，得到第二文本包括：

根据第一预设分类算法对所述测试文本进行分类，得到所述第一文本，所述第一预设分类算法与所述预设分词列表关联；

根据第二预设分类算法对所述测试文本进行分类，得到所述第二文本，所述第二预设分类算法与所述测试分词列表关联；

所述根据所述目标预设分词列表对所述目标文本进行分类包括：

根据所述目标预设分词列表校准所述第一预设分类算法，并根据所述校准的第一预设分类算法对所述目标文本进行分类。

6.一种文本信息的处理装置，其特征在于，所述装置包括：

新词处理模块，用于对目标文本由预设固定分词策略进行分词，并比较所述分词结果和预设分词列表得到新词；

添加模块，用于将所述新词添加到所述预设分词列表中，得到测试分词列表；

测试文本分类模块，用于根据所述预设分词列表对测试文本进行分类，得到第一文本，根据所述测试分词列表对测试文本进行分类，得到第二文本；

目标新词确定模块，用于比较所述第一文本的分类准确率和所述第二文本的分类准确率，根据比较结果从所述新词中确定目标新词；

目标文本分类模块，用于将所述目标新词添加到所述预设分词列表中，得到目标预设分词列表，根据所述目标预设分词列表对所述目标文本进行分类。

7.如权利要求6所述的装置，其特征在于，所述目标新词确定模块包括：

计算单元，用于对每个新词分别计算所述每个新词对应的第一文本的分类准确率和所述每个新词对应的第二文本的分类准确率；

第一判断单元，用于判断所述每个新词的第二文本的分类准确率与所述每个新词的第一文本的分类准确率之差是否满足预设差值；

第一确定单元，用于当所述第一判断单元的判断结果为是时，将所述新词确定为所述目标新词。