[发明专利]一种基于自学习的场景文本匹配方法及系统

权利要求书

1.一种基于自学习的场景文本匹配方法，其特征在于，所述方法包括以下子步骤：

选择预训练词向量数据集，将场景语料数据转化为预训练词向量数据集对应的场景词向量；

自定义设置场景语料样本数量阈值，当场景语料数据小于场景语料样本数量阈值时，场景语料数据作为少量样本，将少量样本输入到无监督学习模型中，使场景词向量转化为对应的第一场景文本向量；

在场景语料数据积累超过设置的场景语料样本数量阈值后，将其输入有监督学习模型，使场景词向量转化为对应的第二场景文本向量；

计算第一场景文本向量、第二场景文本向量与待匹配文本的文本相似度并排序，修正文本匹配结果，得到文本匹配对；

依据文本匹配对优化无监督学习模型和有监督学习模型，修正文本相似度的计算方式。

2.根据权利要求1所述的基于自学习的场景文本匹配方法，其特征在于，选择预训练词向量数据集，将场景语料数据转化为预训练词向量数据集对应的场景词向量的过程包括：对场景语料数据进行分词，再对分词结果做停用词剔除处理，并将处理后的分词转化为预训练词向量数据集中相应的场景词向量。

3.根据权利要求1所述的基于自学习的场景文本匹配方法，其特征在于，场景词向量转化为对应的第一场景文本向量的过程包括：

计算少量样本中出现的分词对应的频率；

由场景词向量计算场景文本向量，公式如下：

其中|s|为句子s中词语的个数，a为超参数；p(w)为少量样本中出现的分词对应的频率；

针对场景语料数据S中的所有文本s的文本向量w_s组成矩阵X，进行主成分分析获取最大主成分向量u；

重新获取场景语料数据，针对场景语料数据TS中的文本ts，计算文本ts的文本向量v_ts，计算公式如下：

将文本v_ts去除样本分析的最大主成分，以此作为文本ts的文本向量v_ts，计算公式如下：

v_ts＝v_ts-uu^Tv_ts。

4.根据权利要求1所述的基于自学习的场景文本匹配方法，其特征在于，所述有监督学习模型选自ESIM、BiMPM、DIIN、Cafe、ELmo、GPT或者Bert。

5.根据权利要求1所述的基于自学习的场景文本匹配方法，其特征在于，计算第一场景文本向量、第二场景文本向量与待匹配文本的文本相似度的过程包括：基于余弦相似度计算第一场景文本向量、第二场景文本向量与待匹配文本的文本相似度，得到第一文本相似度、第二文本相似度；设定第一权重、第二权重，将第一权重乘第一文本相似度作为第一项、第一权重乘第一文本相似度作为第二项，两项相加得到文本相似度。

6.根据权利要求5所述的基于自学习的场景文本匹配方法，其特征在于，修正文本匹配结果的过程包括：

将无监督模型和有监督模型输出的匹配文本结果分别与修正后的文本匹配结果进行比对，统计无监督模型误判率和有监督模型误判率；

第一权重更新为：无监督模型误判率与总误判率之比；

第二权重更新为：有监督模型误判率与总误判率之比。

7.根据权利要求1所述的基于自学习的场景文本匹配方法，其特征在于，所述方法还包括：重新获取场景语料数据作为测试样本，输入至优化好的无监督学习模型和有监督学习模型，得到匹配文本结果。