[发明专利]一种确定文本特征的方法及装置

说明书

本发明提供了一种确定文本特征的方法及装置，属于计算机技术领域。该方法包括：确定样本文本对应的分词集合、以及分词集合中每个分词的词向量；基于预设的分词合并规则和分词集合包含的分词，确定分词组合，并根据各分词组合包含的分词的词向量，确定各分词组合的词向量；根据确定出的分词组合的词向量，计算分词组合之间的相关度、以及各分词组合的区分度；在分词组合中，确定与其他分词组合不满足预设相关度条件、且区分度大于第一预设阈值的目标分词组合；根据确定出的分词的词向量、目标分词组合的词向量，确定各样本文本对应的特征向量。采用本发明，可以提高模型的训练效果。

技术领域

本发明涉及计算机技术领域，尤其涉及一种确定文本特征的方法及装置。

背景技术

目前，在移动互联网时代，我们的生活、学习和工作会产生海量的数据，人们通常会通过机器学习等分类模型对这些数据进行分析，以便为用户提供更好的服务。这些数据通常为非结构数据(即文本数据)，在建立分类模型时，需要将非结构化数据进行结构化(即将文本数据转为数值型数据)，得到这些数据对应的特征，然后通过得到的特征训练分类模型。

相关技术中，在处理非结构化数据(可称为样本文本)时，一般是先对这些数据进行分词，通过One-Hot编码方式得到每个分词对应的词向量，其中，词向量的维数可以为样本文本的总数，用于表示该分词在各样本文本中是否出现。各分词的词向量可以构成一个高维稀疏矩阵，通过预设的分类算法对分词进行分类，然后分别针对每个分类中的分词进行筛选，从而对高维稀疏矩阵进行降维处理，得到非结构化数据对应的特征向量。

基于上述方案，仅通过降维的方式提高特征向量包含信息的有效性，而降维过程中，分类的准确性会对降维效果产生很大的影响，当一些分词无法确定分类时，则无法对该分词进行降维，从而使特征向量包含的无效信息较多，模型的训练效果较差。

发明内容

本发明实施例的目的在于提供一种确定文本特征的方法及装置，以解决使特征向量包含的无效信息较多、模型的训练效果较差问题。具体技术方案如下：

第一方面，提供了一种确定文本特征的方法，所述方法包括：

确定样本文本对应的分词集合、以及所述分词集合中每个分词的词向量；

基于预设的分词合并规则和所述分词集合包含的分词，确定分词组合，并根据各分词组合包含的分词的词向量，确定所述各分词组合的词向量；

根据确定出的分词组合的词向量，计算所述分词组合之间的相关度、以及各分词组合的区分度；

在所述分词组合中，确定与其他分词组合不满足预设相关度条件、且区分度大于第一预设阈值的目标分词组合；

根据确定出的分词的词向量、所述目标分词组合的词向量，确定所述各样本文本对应的特征向量。

可选的，所述方法还包括：

计算各分词的稳定度，并确定稳定度大于第二预设阈值的分词，作为满足预设筛选条件的分词；

所述基于预设的分词合并规则和所述分词集合包含的分词，确定分词组合，包括：

基于预设的分词合并规则和满足所述预设筛选条件的分词，确定分词组合。

可选的，所述计算各分词的稳定度，包括：

将所述样本文本分为预设数目个样本组；

针对每个分词，计算该分词在每个样本组中的区分度，得到所述预设数目个区分度；

确定大于所述第一预设阈值的目标区分度，并根据所述目标区分度的数目确定该分词的稳定度。

可选的，所述区分度至少包括信息值、信息增益、信息增益率、GINI指数、特征重要性和区分倍数中的一种或多种。