[发明专利]训练分类模型的方法与装置

说明书

本申请提供一种训练分类模型的方法与装置，该方法包括：获取正训练集与第一负训练集，正训练集包括语料中正例集的样本，第一负训练集包括语料中未标注样本集的样本，未标注样本集表示语料中不属于词典的样本集；利用正训练集与第一负训练集，训练得到第一分类模型；利用第一分类模型确定第一负训练集中的伪负样本，伪负样本表示第一负训练集中被视为正样本的样本；剔除第一负训练集中的伪负样本，更新第一负训练集为第二负训练集；利用正训练集与第二负训练集，训练得到第二分类模型，第二分类模型为目标分类模型。因此，本申请提供的方法能够有效提高分类模型的准确度，当利用分类模型扩展词典时，也可以提高词典的准确度。

技术领域

本申请涉及信息处理领域，并且更具体地，涉及一种训练分类模型的方法与装置。

背景技术

自然语言处理(Natural Language Processing，NLP)技术是实现人工智能的核心技术之一，通过NLP技术，计算机可以理解并处理自然语言，实现流畅的人机交互。NLP技术的研究包括机器学习，符号学与语言学等。

在NLP技术的研究包括很多任务都需要有专门的词典作为辅助资源。所谓词典，可以是具有某种共同属性的词的集合，例如具有地点属性、情感属性或脏话属性的词的集合，也可以是某个领域内的词的集合，例如宗教领域或医学领域内的词的集合。通过词典的使用，可以辅助计算机通过各种方式来理解自然语言。例如，NLP技术中的文本情感分析任务，通过对文本的内容进行处理分析，获得文本所表达出的情感状态。在这个文本情感分析任务中，通常需要识别句子中有情感倾向的词，然后通过语法规则分析、机器学习分类等方法来确定短语、句子或者篇章的情感状态，其中，识别句子中有情感倾向的词需要借助情感词典来实现。又例如，在人机交互中，往往需要对脏话或者敏感词进行过滤，这个过程需要借助脏话词典或者敏感词典来实现。随着人工智能的发展，越来越多的应用和领域需要NLP技术的支撑，因此，有大量的用于计算机使用的词典需要整理。

现有技术中，词典的主要构建或扩展方式是人工方式，例如，通过人力从大量相关的语料中进行词的识别与整理，进而构建或扩展相关的词典。但是人工方式需要相关领域的专家花费大量的时间与物力，成本非常高，并且存在不完备的情况。以情感词典为例，当前的情感词典均是通过人工从新闻、文学作品等语料中总结出来的，一方面，人的工作量巨大，另一方面，随着网络的发展，大量新词涌现，使得原有的情感词典变得不完备，不能满足现有应用。此外，人工方式会因人而异，可能导致词典的可信度不高。

针对上述技术问题，现有技术中提出一种基于机器学习来构建或扩展词典的方法。该方法大致步骤为，从大规模语料中抽取相应的特征，构建分类器，然后利用该分类器对语料中的词进行判断，判断其是否属于词典中的词，从而实现词典的构建或扩展。但是，该方法的缺点在于，需要预先通过人工标注出大量的正例与负例来训练分类器，即该方法同样需要相关领域的专家花费大量人力与物力去解决，而且，分类器的准确度依赖于人工标注的准确度。

发明内容

本申请提供一种训练分类模型的方法与装置，通过优化训练集，无需人工标注，也可以提高分类模型的准确度，从而可以提高词典的准确度。

第一方面，提供一种训练分类模型的方法，所述方法包括：获取正训练集与第一负训练集，所述正训练集包括语料中正例集的样本，所述第一负训练集包括所述语料中未标注样本集的样本，所述正例集表示所述语料中属于词典的样本集，所述未标注样本集表示所述语料中的不属于所述词典的样本集；利用所述正训练集与所述第一负训练集，训练得到第一分类模型；利用所述第一分类模型确定所述第一负训练集中的伪负样本，所述伪负样本表示所述第一负训练集中被视为正样本的样本；剔除所述第一负训练集中的伪负样本，更新所述第一负训练集为第二负训练集；利用所述正训练集与所述第二负训练集，训练得到第二分类模型，所述第二分类模型为目标分类模型。