[发明专利]一种分类语料确定方法和设备

说明书

本发明公开了一种分类语料确定方法和设备，该方法包括：从数据库中获取预设数量的输入样本，组成输入样本集；其中，所述输入样本包含词条的词条名、分类信息以及相关词条信息；根据预设的种子词从所述输入样本集中获取特征样本，组成特征样本集；根据所述特征样本集确定分类特征词；根据所述分类特征词以及待选文本确定分类语料及其类别。在本发明中，提高了分类语料获取的效率和准确率。

技术领域

本发明涉及互联网技术应用领域，尤其涉及一种分类语料确定方法和设备。

背景技术

文本自动分类是指用计算机程序对文本集(或其他数据)按照一定的分类体系或标准进行自动分类标记。

为了使计算机程序能对文本集进行自动分类标记，需要使用大量分类语料对其进行训练；其中，该分类语料是指大量具有类别标注信息的文本集合，上述计算机程序(如分类器)通过语料学习(训练)标注规则。

现有技术中，获取分类语料的途径主要包括以下两种方式：

(1)人工标注，即人工对大量的文本进行分类标注；

(2)定向抓取，即通过自动爬虫等方式从互联网上已经分好类的数据中抓取；如，当需要影视类分类语料时，可以在互联网上的影视类网站数据库中抓取。

发明人在实现本发明的过程中，发现现有技术至少存在以下缺陷：

人工标注的方式需要花费大量的人力和时间，效率较低；定向抓取则无法保证分类语料的准确率，即无法保证从影视类网站数据库中获取到的文本集均为影视类的语料。

发明内容

本发明提供一种分类语料的确认方法和设备，以提高分类语料获取的效率和准确率。

为了达到上述目的，本发明实施例提供一种分类语料确定方法，包括：

从数据库中获取预设数量的输入样本，组成输入样本集；其中，所述输入样本包含词条的词条名、分类信息以及相关词条信息；

根据预设的种子词从所述输入样本集中获取特征样本，组成特征样本集；

根据所述特征样本集确定分类特征词；

根据所述分类特征词以及待选文本确定分类语料及其类别。

本发明实施例还提供一种分类语料确定设备，包括：

第一获取模块，用于从数据库中获取预设数量的输入样本，组成输入样本集；其中，所述输入样本包含词条的词条名、分类信息以及相关词条信息；

第二获取模块，用于根据预设的种子词从所述输入样本集中获取特征样本，组成特征样本集；

第一确定模块，用于根据所述特征样本集确定分类特征词；

第二确定模块，用于根据所述分类特征词以及待选文本确定分类语料及其类别。

与现有技术相比，本发明实施例具有以下优点：

通过预先选取一定数量的已知类别的种子词，并从数据库中获取一定数量的输入样本组成输入样本集；根据预设的种子词从输入样本集中获取特征样本组成特征样本集，并根据获取到的特征样本集确定分类特征词；根据获取到的分类特征词以及待选文本确定分类语料及其类别，提高了分类语料获取的效率和准确率。

附图说明

图1为本发明实施例提供的一种分类语料确定方法的流程示意图；

图2为本发明实施例提供的技术方案中获取特征样本的流程示意图；

图3为本发明实施例提供的一种具体应用场景下的分类语料确定方法的流程示意图；