[发明专利]一种变形词的识别验证方法及系统

说明书

本发明公开了一种变形词的识别验证方法及系统，识别验证方法具有以下有益效果：通过语音和字形的扩展，使变形字库可得到扩展，从而其中的变形词的数量得到扩充，质量得到提高，降低了误判的几率；通过训练样本进行上下文概率的训练，从而使变形词的语义验证的误判几率进一步降低，并且精确性得到提高；通过验证结果更新训练样本，使算法的自动更新性能提高，从而能够扩展用于语义验证的概念库，随着验证结果的积累，误判几率不断减小。识别验证系统包括：获取单元、变形训练单元、识别单元以及语义验证单元，实现了与方法相同的有益效果。

技术领域

本发明涉及机器识别变形词的领域，具体涉及一种变形词的识别验证方法及系统。

背景技术

我们在浏览贴吧、论坛、新闻媒体等类似的各种平台中，会时常看到变形的敏感词。人脑的思维方式让我们能够非常自然地发现这些变形词，因为这些变形词在句子中是“异常”的部分，这种“异常”的感觉会将我们的注意力聚集到这一区域，进而逐渐发现完整的变形词。而机器在直接面对这些变形词(包括间杂特殊符号、同音变换、形近变换、简繁转换、偏旁拆分等)时就显得稍微力不从心，变形词识别是解决中文垃圾内容过滤的一个重要问题。

目前，在申请号为200810224894.7的中国专利申请中，公开了一种敏感词校对的方法及系统：通过组成敏感词的字的内码，及内码和字的拼音字母组成信息的对应关系，确定敏感词拼音字母组成信息；从被校对文本中获取被校对词，通过组成被校对词的汉字内码，及内码和字的拼音字母组成信息的对应关系，确定被校对词拼音字母组成信息；若被校对词与敏感词，彼此之间的拼音字母组成信息相同，则确定被校对词为敏感词，因此通过语音校对，使得敏感词的变形词可以被校对出来，提高了敏感词的校对准确率。

另外在申请号为201210537803的中国专利申请中，公开了一种变形词证认系统及证认方法。在该变形词证认系统中，通过同音变换和拆字变形在变形词库中查找原形词的变形词，然后将变形词提供给变形词检测模块，证认模块通过预先设定的概念库的支持，检测待检测数据的语义背景与原形词概念集合的相似程度，变形词判别模块通过相似度值与预先设定的判别阈值比较，得出所检测的变形词是否为原形词的变形词的结论。

现有的变形词识别技术的不足之处在于，系统和方法均基于固定的变形词库和概念库，其中的变形词、训练样本的数量和质量均有较大的局限性，容易出现误判；算法自动更新性能差，不具备扩展变字词库和概念库的能力。

发明内容

本发明的目的是提供一种变形词的识别验证方法及系统，以解决上述不足之处。

为了实现上述目的，本发明提供如下技术方案：

一种变形词的识别验证方法，包括以下步骤：

获取敏感词和训练样本；

根据所述敏感词进行语音和字形扩展得到变形词，并通过所述训练样本进行基于上下文概率的训练，得到n元语言模型；

输入待检测文本，并根据所述敏感词和变形词对所述待检测文本进行识别；

将所述识别结果输入所述n元语言模型进行上下文语义验证。

上述变形词的识别验证方法，语音的扩展包括以下步骤：

提取所述敏感词的原始拼音，并据其关联得到类似发音的同音拼音；

将所述同音拼音对应的同音词归为语音变形词的范畴。

上述变形词的识别验证方法，字形的扩展包括以下步骤：

对所述敏感词进行偏旁拆解，并获得偏旁变形词；

对所述敏感词进行字形相似判断，并获得相似变形词。

上述变形词的识别验证方法，进行偏旁拆解包括以下步骤：