[发明专利]中文文本识别方法及装置

说明书

本发明涉及一种中文文本识别方法及装置，该方法中首先获取PS域信令中各个终端的应用程序上报的关键词，并根据应用程序的类别对关键词进行分类处理，针对存储在不同搜索语料库中的关键词基于不同的预设算法对所述关键词进行切分、初步识别以及概率筛选，最后将筛选得到的结果加入到预设词库中，从而相比于现有的识别方法，本发明实施例提供的方法能够根据上报关键词的应用程序的类别不同对不同的词汇进行特定的处理，更具有针对性，从而能够得到更准确的识别结果，提高识别的效率。

技术领域

本发明实施例涉及软件技术领域，具体涉及一种中文文本识别方法及装置。

背景技术

随着互联网时代的到来，人们越来越依赖于搜索引擎进行信息检索，然而传统的机械分词方法对于日新月异的网络用词和新兴词组的识别效果并不理想。中文分词技术是搜索引擎和中文自然语言处理的基础，未登录词识别中文分词的一大瓶颈。其中，未登录词是指未被分词系统所收录的词语。

针对未登录新词的识别，目前较为常用的方法为获取网页内容、搜索日志或查询日志，根据网页内容、搜索日志或查询日志中的内容基于规则方法或基于统计方法进行新词识别。

然而，在实施本发明实施例的过程中发明人发现，由于汉语存在多样性，各个领域的词汇都有着自身的特点。尤其是地名、人名等词汇，很多情况下没有特殊的含义，无法仅从语义分析或数据统计上能够将地名或者人名进行很好的划分。而采用这样的识别方法虽然容易实现，但在新词的识别过程中，对所有待确认的词汇均采用一种规则或方式来进行识别，从而不利于识别地名、人名等特殊词汇，识别率较低。

发明内容

本发明提供了一种中文文本识别方法及装置，用于克服现有的新词识别方法对于所有的待确认词汇采用统一的方式来识别，对于特殊词汇的识别率较低的缺陷。

第一方面，本发明实施例提供了一种中文文本识别方法，包括：

获取各终端应用程序上报的用户在应用程序搜索的关键词，并根据所述关键词的类别属性，将所述关键词存储至对应类别的搜索语料库中；

针对各个搜索语料库采用对应的预设算法对存储的关键词进行多次切分直至得到无法继续切分的单字符串；

根据所述单字符串所属的搜索语料库的类别，基于对应预设的规则识别算法或基于预设词库对所述单字符串进行识别，筛选出初步识别字符，并将所述初步识别字符加入到候选新词词库中；

当所述初步识别字符在所述候选新词词库中出现的概率达到预设的概率阈值时，将所述初步识别字符添加到所述预设词库中。

第二方面，本发明实施例提供了一种中文文本识别装置，包括：

关键词获取单元，用于获取各终端应用程序上报的用户在应用程序搜索的关键词，并根据所述关键词的类别属性，将所述关键词存储至对应类别的搜索语料库中；

字符串切分单元，用于针对各个搜索语料库采用对应的预设算法对存储的关键词进行多次切分直至得到无法继续切分的单字符串；

初步识别单元，用于根据所述单字符串所属的搜索语料库的类别，基于对应预设的规则识别算法或基于预设词库对所述单字符串进行识别，筛选出初步识别字符，并将所述初步识别字符加入到候选新词词库中；

概率筛选单元，用于当所述初步识别字符在所述候选新词词库中出现的概率达到预设的概率阈值时，将所述初步识别字符添加到所述预设词库中。