[发明专利]一种基于词缀的用于对未知词进行语义分类的系统

说明书

技术领域

本发明属于自然语言处理技术领域，涉及一种基于词缀的用于对未知词进行语义分类的系统。

背景技术

通常，用户能够先获得描述单词的某些字典。这些字典可以描述单词的出处(例如，通常在哪一段话中出现的等等)、语义类(例如人、事件、情感等等)、含义和例句等。对于那些没有出现在字典中的词我们称为“未知词”。一般而言，未知词可以来源于某些新词。

在文本信息处理中，未知词的出现常常会给用户带来麻烦，由于它的信息(例如例句、语义类等)的不足。

为解决上述麻烦，一种做法是用户在未知词出现时更新字典。但是这一做法在一般情况下很困难，原因如下：(1)由于存在着很多的信息源(报纸、网络等等)，因此无法保证用户在一未知词首次出现时就捕捉到该词；(2)由于字典是标准化的，对于任一未知词都需要经过许多专家的审核、同意后才能写入字典，因此这需要一段时间。

鉴于此，对未知词进行语义类别的猜测就成了一项很有必要的工作。本发明将关注语义类别信息。也就是，我们将试图猜测未知词的语义类别。

发明内容

本发明的目的在于克服上述技术缺陷，提供一种基于词缀的用于对未知词进行语义分类的系统。

其技术方案为：

一种基于词缀的用于对未知词进行语义分类的系统，包括：

输入模块：该模块主要用于接收来自系统外部由用户输入的未知词；

未知词词缀分析模块：对于系统接收到的任何一个未知词，将其按构词规则分别拆分成两个部分，每个部分都可作为词缀；

相似词选择模块：对于所输入的未知词，在同义词词林中查找与未知词具有相同词缀部分的词；

内容部分相似度计算模块：根据相似词词林字典中的语义分类，计算各个相似词与该未知词内容部分的语义的相似度；

相似词分析模块：分析各个相似词的构词方式，针对其内容部分与其整体部分语义类的关系；

存储字典：用于存储所输入的未知词和查找到的各个相似词集合；

相似度排列模块：根据各相似词的构词方式基于同义词词林字典筛选出未知词的语义类；

输出模块：用于输出该未知词的语义类。

该系统完全基于未知词的内容部分与相似词内容部分的相似度，其词缀部分对其语义类别没有影响的情况。

所述未知词语义类的分类是完全基于同义词词林字典。

该系统完全基于相似词与未知词是由其内容部分扩展而来的情况。

本发明所述系统针对某一未知词和其相似词内容部分相似度的计算完全基于同义词词林相似度的计算。

与现有技术相比，本发明的有益效果为：

本发明的方法基于词缀研究未知词的构词规律，进而分析它的语义类别。也可以作为一个独立的语法或语义成分识别系统对中文或其他基于字符的未知词的语义分类，同时也可以与其他语言成分识别系统相结合，对其他系统输出的结果进行分析，提高原有系统的分析精度。本发明尤其适用于对汉语未知词的分析，根据本发明实现的未知词语义分类系统获得了良好的分析效果。

附图说明

图1是本发明基于词缀的用于对未知词进行语义分类的系统结构框图；

图2是示出本发明实施例1基于词缀的未知词语义分类的操作流程图；

图3是示出本发明实施例2基于词缀的未知词语义分类的操作流程图；

图4是示出本发明实施例3基于词缀的未知词语义分类的操作流出图。

具体实施方式

下面结合附图与具体实施方式对本发明的技术方案作进一步详细地说明。

参照图1，一种基于词缀的用于对未知词进行语义分类的系统，包括：

输入模块：该模块主要用于接收来自系统外部由用户输入的未知词；

未知词词缀分析模块：对于系统接收到的任何一个未知词，将其按构词规则分别拆分成两个部分，每个部分都可作为词缀；

相似词选择模块：对于所输入的未知同，在同义词词林中查找与未知词具有相同部分的词；

内容部分相似度计算模块：根据相似词词林字典中的语义分类，计算各个相似词与该未知词内容部分的语义的相似度；

存储字典：用于存储所输入的未知词和查找到的各个相似词集合；

相似度排列模块：根据各相似词的构词方式基于同义词词林字典筛选出未知词的语义类；

输出模块：用于输出该未知词的语义类。

实施例1