[发明专利]一种领域词抽取方法、装置、终端及计算机可读存储介质

说明书

本发明所提供的一种领域词抽取方法、装置、终端及计算机可读存储介质，所述领域词抽取方法包括：将目标文本输入已训练的领域词抽取模型，抽取所述目标文本中所有的原始领域词；将所有所述原始领域词输入已训练的领域词分类模型，获得每个所述原始领域词对应的分类结果；根据所述分类结果，按照预设关联规则将所述原始领域词关联到标准层级关系表中的标准领域词，并输出所述标准领域词。本发明通过领域词抽取模型初步抽取出原始领域词，再利用领域词分类模型对抽取出的原始领域词进一步分类清理，将分类后的原始领域词关联到标准层级关系表中的标准领域词，并输出所述标准领域词，进行了归一化处理，提高了抽取领域词的质量和准确率。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及的是一种领域词抽取方法、装置、终端及计算机可读存储介质。

背景技术

随着科技的发展和技术的进步，如果将文本中的关键领域词准确抽取出来，可以大大提高文本的分类以及搜索推荐等任务的速度和效率。例如，随着科技的发展和技术的进步，产生了越来越多的学术论文，数据库中的学术论文更是以每天万级别的速度增长，而且，学术论文一般都比较长，可达到几千到几万字不等。如此巨大的量和长度，对处理论文相关的任务提出了巨大的挑战。如果将论文中的关键领域词准确抽取出来，可以大大提高论文分类以及搜索推荐等任务的速度和效率。而目前现存的领域词提取方法包括无监督方法抽取领域词和有监督方法抽取领域词，使用无监督方法抽取领域词，会导致抽取的领域词错误率高；使用有监督方法抽取领域词后直接进行输出，提取出的领域词质量也较差。

因此，现有技术存在缺陷，有待改进与发展。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种领域词抽取方法、装置、终端及计算机可读存储介质，旨在解决现有技术中提取出的领域词质量较差的问题。

本发明解决技术问题所采用的技术方案如下：

一种领域词抽取方法，其特征在于，包括：

将目标文本输入已训练的领域词抽取模型，抽取所述目标文本中所有的原始领域词；

将所有所述原始领域词输入已训练的领域词分类模型，获得每个所述原始领域词对应的分类结果；

根据所述分类结果，按照预设关联规则将所述原始领域词关联到标准层级关系表中的标准领域词，并输出所述标准领域词。

在一种实现方式中，所述将目标文本输入已训练的领域词抽取模型，抽取所述目标文本中所有的原始领域词，包括：

将目标文本输入已训练的领域词抽取模型，得到与所述目标文本对应的向量序列，所述向量序列中的每个向量与所述目标文本中的每个单词一一对应；

利用全连接层对每个向量进行分类，输出分类结果序列，所述分类结果序列中包括与每个单词一一对应的标签，所述标签包括：领域词起始位置、领域词非起始位置以及非领域词；

以标签为领域词起始位置对应的单词和领域词非起始位置对应的单词抽取为原始领域词。

在一种实现方式中，将所有所述原始领域词输入已训练的领域词分类模型，获得每个所述原始领域词对应的分类结果，包括：

将所有所述原始领域词输入已训练的领域词分类模型；

按照所述领域词分类模型中的分类模型特征，对所有所述原始领域词进行分类，类别包括：已知领域词、新领域词、全新领域词以及噪音。

在一种实现方式中，根据所述分类结果，按照预设关联规则将所述领域词关联到标准层级关系表中的标准领域词，并输出所述标准领域词，包括：

当所述原始领域词的类别为噪音时，将所述原始领域词删除；