[发明专利]中文文本识别方法及装置

权利要求书

1.一种中文文本识别方法，其特征在于，包括：

获取各终端应用程序上报的用户在应用程序搜索的关键词，并根据所述关键词的搜索类别属性，将所述关键词存储至对应类别的搜索语料库中；

针对各个搜索语料库采用对应的预设算法对存储的关键词进行多次切分直至得到无法继续切分的单字符串；

根据所述单字符串所属的搜索语料库的类别，基于对应预设的规则识别算法或基于预设词库对所述单字符串进行识别，筛选出初步识别字符，并将所述初步识别字符加入到候选新词词库中；

当所述初步识别字符在所述候选新词词库中出现的概率达到预设的概率阈值时，将所述初步识别字符添加到所述预设词库中；

其中，所述根据所述单字符串所属的搜索语料库的类别，基于对应预设的规则识别算法或基于预设词库对所述单字符串进行识别，筛选出初步识别字符，并加所述初步识别字符加入到候选新词词库中，包括：

对于属于地址搜索语料库中单字符串，筛选出包含预设地址后缀关键词的单字符串，并将预设的地址后缀关键词为分隔符，将所述单字符串划分为若干个词条，将所述若干个词条作为初步识别字符加入到候选地址新词词库中；

对于属于通用搜索语料库中单字符串，在判断其为非中文姓名单字符串时，基于BI-gram模型筛选出初步识别字符，并将所述初步识别字符加入到候选通用新词词库中。

2.根据权利要求1所述的方法，其特征在于，所述根据所述关键词的搜索类别属性，将所述关键词存储至对应类别的搜索语料库中包括：

将携带地理位置信息的关键词存储在地址搜索语料库中；

将未携带地理位置信息的关键词存储在通用搜索语料库中。

3.根据权利要求2所述的方法，其特征在于，所述初步识别字符在所述候选新词词库中出现的概率达到预设的概率阈值时，将所述初步识别字符加入到预设词库中，包括：

在初步识别字符在候选地址新词词库中出现的概率达到预设的概率阈值时，将所述初步识别字符加入到地址搜索新词词库中。

4.根据权利要求2所述的方法，其特征在于，所述初步识别字符在所述候选新词词库中出现的概率达到预设的概率阈值时，将所述初步识别字符加入到预设词库中，包括：

在所述初步识别字符在所述候选通用新词词库中出现的概率达到预设的概率阈值时，将所述初步识别字符加入到通用搜索新词词库中。

5.根据权利要求2所述的方法，其特征在于，所述根据所述单字符串所属的搜索语料库的类别，基于对应预设的规则识别算法或基于预设词库对所述单字符串进行识别，筛选出初步识别字符，并加所述初步识别字符加入到候选新词词库中，包括：

对于属于通用搜索语料库中单字符串，在判断其为中文姓名单字符串时，将所述单字符串划分为姓字符以及若干个名字字符，在所述姓字符在现有的汉语姓字库中出现的第一概率大于0且所述名字字符在现有的汉语名字字库中出现的第二概率大于0时，将所述单字符串添加至候选姓名词库中；

相应地，所述初步识别字符在所述候选新词词库中出现的概率达到预设的概率阈值时，将所述初步识别字符加入到预设词库中，包括：

根据所述第一概率与第二概率得到所述中文姓名单字符串对应的第三概率；在所述第三概率在所述候选姓名词库中出现的概率达到预设的概率阈值时，将所述中文姓名单字符串加入到中文姓名新词词库中。