[发明专利]用于生成模型的方法和装置

权利要求书

1.一种用于生成模型的方法，包括：

获取第一训练样本集合，所述第一训练样本集合中的训练样本包括样本文本；

统计所述第一训练样本集合中不同长度的样本文本在所述第一训练样本集合中所占的比例；

根据统计出的比例，从所述第一训练样本集合中抽取训练样本得到第二训练样本集合，包括：根据统计出的比例，从所述第一训练样本集合中抽取训练样本；去除所抽取的训练样本中包括预设关键词的训练样本，得到第二训练样本集合；

利用机器学习算法，将第二训练样本集合包括的样本文本作为输入，将与输入的样本文本对应的标注信息作为期望输出，训练得到针对目标文本的文本处理模型，所述目标文本与所述第一训练样本集合中的样本文本来源相同，所述文本处理模型包括二分类模型，所述第一训练样本集合中的训练样本包括正样本和负样本；

其中，所述去除所抽取的训练样本中包括预设关键词的训练样本，得到第二训练样本集合，包括：去除所抽取的正样本中包括负样本中的关键词的训练样本，去除所抽取的负样本中包括正样本中的关键词的训练样本，得到第二训练样本集合。

2.根据权利要求1所述的方法，其中，所述统计所述第一训练样本集合中不同长度的样本文本在所述第一训练样本集合中所占的比例，包括：

统计所述第一训练样本集合中不同长度的样本文本在正样本中所占的比例，并统计所述第一训练样本集合中不同长度的样本文本在负样本中所占的比例；以及

所述根据统计出的比例，从所述第一训练样本集合中抽取训练样本得到第二训练样本集合，包括：

根据统计出的不同长度的样本文本在正样本中所占的比例，从所述第一训练样本集合包括的正样本中抽取正样本，并根据统计出的不同长度的样本文本在负样本中所占的比例，从所述第一训练样本集合包括的负样本中抽取负样本，得到第二训练样本集合。

3.一种用于生成模型的装置，包括：

获取单元，被配置成获取第一训练样本集合，所述第一训练样本集合中的训练样本包括样本文本；

统计单元，被配置成统计所述第一训练样本集合中不同长度的样本文本在所述第一训练样本集合中所占的比例；

抽取单元，被配置成根据统计出的比例，从所述第一训练样本集合中抽取训练样本得到第二训练样本集合，其中，所述抽取单元，包括：抽取子单元，被配置成根据统计出的比例，从所述第一训练样本集合中抽取训练样本；去除单元，被配置成去除所抽取的训练样本中包括预设关键词的训练样本，得到第二训练样本集合；

训练单元，被配置成利用机器学习算法，将第二训练样本集合包括的样本文本作为输入，将与输入的样本文本对应的标注信息作为期望输出，训练得到针对目标文本的文本处理模型，所述目标文本与所述第一训练样本集合中的样本文本来源相同，所述文本处理模型包括二分类模型，所述第一训练样本集合中的训练样本包括正样本和负样本；

其中，所述去除单元，进一步被配置成：去除所抽取的正样本中包括负样本中的关键词的训练样本，去除所抽取的负样本中包括正样本中的关键词的训练样本，得到第二训练样本集合。

4.根据权利要求3所述的装置，其中，所述统计单元，进一步被配置成：

统计所述第一训练样本集合中不同长度的样本文本在正样本中所占的比例，并统计所述第一训练样本集合中不同长度的样本文本在负样本中所占的比例；以及

所述抽取单元，进一步被配置成：

根据统计出的不同长度的样本文本在正样本中所占的比例，从所述第一训练样本集合包括的正样本中抽取正样本，并根据统计出的不同长度的样本文本在负样本中所占的比例，从所述第一训练样本集合包括的负样本中抽取负样本，得到第二训练样本集合。

5.一种电子设备，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-2中任一所述的方法。

6.一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-2中任一所述的方法。